纽约大学心理学与认知科学教授马库斯最近和人工智能企业“深层思维”（DeepMind）杠上了。继前不久在推特（Twitter）上质疑美国通用人工智能研究组织OpenAI的解魔方机械手之后，近日他又对“深层思维”新推出的《星际争霸2》智能体“阿尔法星”（AlphaStar）进化版提出六大质疑。此次，他的质疑点并不是游戏表现本身，而是指向了更高的层面：未来通用智能研究的意义。

　　近年最酷成果都来自深度强化学习

　　此次OpenAI推出的解魔方机器手，并不是像以往一样使用专业算法来解决某一个特定任务（如果换一个任务，还需要重新编程），而是通过某种学习方法，对机器人进行训练，让机械手具备类人手的解决问题的能力。但马库斯却认为这个成果描述有误导，更恰当的描述应该是“用强化学习操纵魔方”或者是“用灵巧的机器人手操纵物体的进展”。

　　“马库斯过于强调‘用强化学习操纵魔方’有点挑剔字眼，其实OpenAI魔方机器手和‘深层思维’发布的《星际争霸2》智能体‘阿尔法星’进化版都使用了深度强化学习技术。深度强化学习是目前公认的在现有技术中最有可能实现通用人工智能的技术。”天津大学智能与计算学部软件学院副教授郝建业解释说，目前机器学习有三大分支，监督学习、非监督学习和强化学习，深度学习属于监督学习里目前最主流的一类技术。深度强化学习是深度学习与强化学习的融合，是将深度神经网络整合到强化学习框架当中。

　　“近几年，深度强化学习发展迅猛，它在处理复杂、多方面和决策问题方面显示出巨大的潜力。目前深度强化学习技术主要应用在一些游戏、比赛中。”郝建业介绍，2016年，谷歌的“阿尔法围棋”（AlphaGo）击败了世界顶级围棋选手李世石、柯洁，轰动一时，成为人工智能领域的一个里程碑。“阿尔法围棋”的核心就在于使用了深度强化学习算法，使得计算机能够通过自对弈的方式不断提升棋力。此后又有脸书（Facebook）在DOTA2游戏中打败了顶级职业选手；CMU团队研发的德州扑克AI冷扑大师轻松击败顶级玩家。

　　此外，“深层思维”还运用深度强化学习优化了数据中心的耗能；谷歌则利用深度强化学习完成深度神经网络的自动架构搜索，提出了AutoML服务，借此将机器学习作为一种服务推广到千家万户。在我国，对于深度强化学习技术的应用也不少，阿里、腾讯、百度等国内团队将深度强化学习应用到搜索、推荐、营销、派单和路径规划等实际问题的决策中。

　　最有可能实现通用人工智能的技术

　　人工智能发展到现在的高度，技术上较大的功臣应该属于深度学习算法。深度学习利用多层神经网络，从海量的数据中学习，从而实现对未来的预测，并使人工智能系统越来越智能。目前我们应用的安防监控、自动驾驶、语音识别、百度地图等都是深度学习技术在图像视觉、语音识别、自然语言理解等领域的应用。

　　而强化学习也是目前机器学习领域的热门技术，与基于已知标签训练模型的监督学习不同，强化学习能够在没有计算机的明确指示下，像人一样实现自主学习。当达到一定的学习量之后，强化学习系统就能够预测出正确的结果。“强化学习的基本思想是，学习在不同环境和不同状态下，哪种行为能够使得预期利益最大化。”郝建业介绍，新版“阿尔法星”智能体就采用了强化学习的自对战技术，其学习过程不需要数据标注，而是由奖励函数进行主导。智能体获得奖励得分或赢得一场比赛，它会得到积极的反馈，智能体就会根据对战的成绩好坏，来调整行为动作。这犹如婴儿学走路，会根据产生的结果好坏来调整行为动作。

　　目前对通用人工智能的定义主要有两个特点，一是端对端的学习，二是任务自适应， 无需人类参与调控而胜任不同的任务。深度强化学习可以将深度学习的感知能力和强化学习的决策能力相结合，直接根据输入的信息进行控制，是一种更接近人类思维方式的人工智能技术。在与世界的正常互动过程中，强化学习会通过试错法利用奖励来学习，这跟自然学习过程非常相似。比如单手解魔方机器手，它可能需要利用深度学习的识图技术等看到魔方，而后还需强化学习的模型让机器手在不断的试错过程中自主学习。在强化学习中，可以使用较少的训练信息，这样做的优势是信息更充足，而且不受监督者技能限制。深度强化学习朝构建对世界拥有更高级理解的自主系统又迈出了一步，这也是为什么说深度强化学习是目前公认的在现有技术中最有可能实现通用人工智能的技术。

　　未来通用人工智能还需依托脑科学发展