百度获AI假肢挑战赛冠军

距 NIPS 2018 召开还有不到一个月的时间，NIPS 2018 上的各种技术挑战赛也接近尾声。关于挑战赛的详细信息，请参见：距 NIPS 2018 还有小半年，会上的各种挑战赛已经开始啦

在上周结束的 2018 人工智能假肢挑战赛（AI for Prosthetics Challenge）中，来自中国百度的技术团队 Firework 一举击败全球 400 多支参赛团队，以 9980.46 的得分夺得冠军，领先第二名高达 30 多分。

在此次比赛中，百度首先通过上千台机器的 CPU 集群来加速模拟环境，利用 RPC 机制进行机器间通信，从而能在高性能 GPU 上进行高效的模型训练。

其次，利用Target Driven Deep Deterministic Policy Gradient (Target Driven DDPG)，使得模型能够应对较大空间和连续动作空间的挑战，最终也使得一个单一模型能够学习多种速度和姿态。

第三，在算法层面，通过 multi-head bootstrapping，能够更高效的对巨大的解空间进行探索（Exploration），同时还将旋转不变性等各类特征处理方式，以及不断实验累计的各类 reward shaping 方法应用其中。

正是这些关键技术的综合应用，让百度能以 9980 的高分一举夺冠。据悉，早在本次比赛以前，百度已经将强化学习技术应用于信息流推荐、广告展现、搜索排序等大规模工业级场景。而本次比赛中所展现出的技术实力，再次证明了百度在强化学习相关技术上的积累也能够进一步推广到复杂机器人控制、自动驾驶等更多工业领域。