谷歌DeepMind Lab开源 DeepMind Lab的学术论文

据彭博社消息，谷歌 DeepMind 实验室也将向大众及其他开发者开放其用于众多实验的迷宫类游戏平台。DeepMind 宣布，将把这一 AI 训练环境的整个源代码发布至开源社区 GitHub，并将其名称由 Labyrinth 更改为 DeepMind Lab。届时，所有开发者都能下载源代码并对其进行个性化设置，以此训练和测试原有的 AI 系统。DeepMind 的这一举动又一次证明了该实验室对研究成果的开放态度。

以下为DeepMind在公司网站上发布的关于DeepMind Lab的学术论文（回复“DeepMind”，可获得该论文中文PDF版下载）：

摘要

DeepMind Lab是一个第一人称3D游戏平台，专门为研究通用人工智能和机器学习系统而设计。DeepMind Lab可用于研究自动代理如何在大型、部分可视、视觉多样化的环境中学会执行复杂任务。DeepMind Lab有一个简单灵活的API，可用于探索创造性的任务设计和全新的AI设计，并快速迭代。它由一个快速且被广泛认可的游戏引擎所驱动，并针对开发者社区的高效利用进行了定制。

介绍

通用智能(GI)衡量一个智能体(agent，即虚拟代理)在各种环境下实现目标的能力。当前在自然世界中已知的唯一通用智能的例子就是动物。动物在基于物理和感官的条件下，通过演化、发育、学习产生了智能。而人类和其他动物的智能在很大程度上可能是因为所处环境的多样性所导致的结果，没有这种环境，智能可能无法产生。其中一个选择就是直接研究物理世界中的机器人的具体化智能(EI)，但这方面的研究通常会遇到一些因素的阻碍，如时间过得太慢，相关的硬件成本太高。另一个选择就是研究逼真的虚拟世界，这样上述两个阻力都能得到解决。

之前，创建逼真的虚拟世界以作为AI研究平台的工作受到了巨大的工程(engineering)量的阻碍。这一次，为解决该问题，我们推出了DeepMind Lab。DeepMind Lab是一个第一人称3D游戏平台，建立在游戏开发商id software公司的《雷神之锤3：竞技场》(Quake III：Arena)游戏引擎之上。

它以丰富的科幻视觉来呈现场景。可用的操作能让智能体环顾四周，并以3D的形式移动。示例任务包括收集水果、走迷宫、穿越危险的通道且要避免从悬崖上坠落、使用发射台在平台间移动、玩激光笔、以及快速学习并记住随机生成的环境。DeepMind Lab已经成为DeepMind内部的一个主要研究平台。例如，它被用于开发强化学习的异步方法、无监督的辅助工作，以及学习导航等。

人们可能会将DeepMind Lab与其他游戏AI研究平台(强调“像素到行动”的自主学习智能体)相比较。例如，DeepMind之前使用的“街机学习环境”(Arcade Learning Environment)既不是3D，也不是第一人称。而在3D AI研究平台中，DeepMind Lab不仅能与VizDoom和Minecraft等平台相提并论，还拥有比这些平台更强大的功能。例如，DeepMind Lab拥有更丰富的视觉效果和更自然的物理效果。

DeepMind Lab的人工通用智能(AGI)研究主要强调原始像素输入(raw pixel inputs)、第一人称视角、运动控制、导航、规划、策略、时间，完全自主的智能体必须通过探索周围环境自主学习要执行什么任务。所有这些因素都使得学习变得非常困难。这里的每个任务都被视为处于前沿的研究问题。我们把它们放在一个平台上，代表了这个领域的一个重要的新挑战。

DeepMind Lab研究平台

DeepMind Lab建立在游戏开发商id software公司的《雷神之锤3：竞技场》(Quake III：Arena)游戏引擎之上。DeepMind Lab还包含一些工具，主要来自q3map2(GtkRadiant，关卡编辑器)和bspc(bspc，关卡编辑器)，用于关卡生成(level generation)。机器人(bot)脚本基于OpenArena项目(《雷神之锤3：竞技场》的开源内容包)代码。

针对机器学习定制

我们创建了一套定制化资产，让DeepMind Lab别具风格，与众不同。

它尤其专注于丰富的视觉效果，针对机器学习而定制。

经过强化的API建立在游戏引擎之上，提供具有复杂观察能力、能承受一系列动作的智能体(agent)。

与平台的互动采取“锁步”(lock-stepped，前锁、后锁或旁锁等)方式。根据用户制定的帧率，引擎每次向前走一步(虚拟模拟。如果需要，可以通过重复动作向前走多步)。这样，在提供一个观察之后，游戏就会暂停，直至智能体给出下一步动作命令。

图1：提供给代理的观察。在我们的实验中，奖励和像素足以用来训练一个智能体，而深度和速度信息可用于进一步的分析。

观察

每一步，引擎都会提供基于奖励和像素的观察，而速度信息是可选的。

1.奖励信号的标量值，也就是每一关(游戏)的分数。

2.平台提供对原始像素(由游戏引擎从玩家的第一人称视角而提供)的访问，格式为RGB像素。当然也有RGBD格式，后者提供了像素的深度信息。

3.对于特定的研究应用，智能体的平移和角速度信息会提供更多帮助。 这些信息将作为两个独立的3D矢量形式存在。

动作

智能体可提供多种模拟动作来控制运动(向前/向后、向左/向右开炮、蹲、跳)、观看(上/下、左/右)和标记(激光标记关卡)，见图2。

图2：动作空间包括3D运动和两轴观察

示例关卡

图7和8展示了智能体的第一人称视角截屏。关卡可分为四类：

1.基于静态地图的简单的水果收集关卡。这些关卡的任务就是收集苹果和瓜类，但要避开柠檬。

2.基于静态地图布局的导航关卡。这些关卡的任务是测试智能体在迷宫中寻找出路的能力。

3.程序生成的导航关卡，需要探索由程序随机生成的新迷宫。这些关卡旨在考验智能体探索新环境的能力。

4.激光标记关卡，需要智能体使用像激光一样的科幻工具来标记由游戏内置AI所控制的机器人(bot)。

图3：静态迷宫关卡的“自上而下”视图。

技术细节

最初的游戏引擎使用C语言编写，以确保其兼容性(引擎未来变化)，只会在必要时做出修改。而DeepMind Lab提供一套简单的C API，并提供了Python(编程语言)的动态关联(binding)。

该平台包含一个广泛的关卡API，使用Lua编写，可用于定制关卡。这种方法使该平台变得高度灵活，只需要对原始游戏引擎进行最低限度的修改。

DeepMind Lab支持Linux，并在多个主要分发平台上进行了测试。

面向智能体和人类的API

DeepMind Lab可以窗口形式运行，但也支持非窗口环境，如远程终端。渲染使用OpenGL，既可以使用GPU渲染，也可以使用软件渲染工具。

一个DeepMind Lab范例是，使用用户设定启动项目，如关卡名称、屏幕分辨率和帧率。项目启动后，使用简单的RL类型API与环境互动，见图4。

图4： Python API示例

关卡生成

DeepMind Lab关卡使用的是《雷神之锤3：竞技场》的关卡。它们被打包到:pk3文件(ZIP文件)中，包含许多组件， 如关卡几何图形、导航信息和纹理(贴图)等。

DeepMind Lab包含一些工具，可通过:map文件生成地图。手动编辑自然费力费时，但可以使用许多免费的编辑器，如GtkRadiant。除了内置和用户提供的关卡，DeepMind Lab还提供“文本关卡”(Text Level)，即一些简单、人类可读的文本文件，用来指定墙壁、重生点(游戏中玩家重生的地点)和其他游戏机制，见图5。图6就是一个生成后的关卡渲染图。

图5：文本关卡示例，‘*’代表“墙壁”，‘P’是一个“重生点”， ‘H’和‘I’代表“门”。

图6：图5中的“文本关卡”所代表的关卡渲染图。

对于基于Lua的关卡API，每一个关卡都可以根据玩游戏的逻辑、拾起物体、特定观察、关卡重玩、奖励机制、游戏内消息等进行定制。

效果和性能

下图中的表1和2展示了DeepMind Lab内置的两个典型关卡、在不同分辨率下的表现。表中所列出的帧率是通过连接到一个智能体(正通过Python API执行任意动作)后计算出的。

计算环境为：Linux台式机，基于英特尔6核3.50GHz至强处理器和NVIDIA Quadro K600 GPU。

表1： 帧率(帧/秒)，nav_maze_static_01关卡(即前文所述的四类关卡中的第二类：基于静态地图布局的导航关卡)

表2： 帧率(帧/秒)，lt_space_bounce_hard关卡(即前文所述的四类关卡中的第四类：激光标记关卡)

总结：

DeepMind Lab可以对拥有丰富科幻视觉的3D环境进行研究，它能推动创新性任务的开发。我们还能通过DeepMind Lab建立一系列广泛的环境、任务和智能测试。将来，我们也期待开发者社区能推出更多的应用。(编译/谭燃)

上一篇：

http://www.batdaily.com/news/20161213/13758.html
http://www.batdaily.com/news/20161213/13756.html
http://www.batdaily.com/news/20161213/13754.html
http://www.batdaily.com/news/20161213/13753.html
http://www.batdaily.com/news/20161213/13751.html
http://www.batdaily.com/news/20161213/13750.html
http://www.batdaily.com/news/20161213/13747.html
http://www.batdaily.com/news/20161213/13746.html
http://www.batdaily.com/news/20161213/13742.html
http://www.batdaily.com/news/20161213/13741.html
http://www.batdaily.com/news/20161213/13734.html
http://www.batdaily.com/news/20161213/13726.html
http://www.batdaily.com/news/20161213/13720.html