要像人类一样聪明 AI先得突破算力极限
算法、数据和算力被视为推动人工智能发展的三大要素,其中算力更是被形容为支撑人工智能走向应用的“发动机”。人工智能研究组织OpenAI最近指出,“高级人工智能所需的计算能力每三个半月就会翻一番”。
近日,脸谱(Facebook)人工智能副总裁杰罗姆·佩森蒂在接受《连线》杂志采访时认为,AI科研成本的持续上涨,或导致我们在该领域的研究碰壁,现在已经到了一个需要从成本效益等方面考虑的地步,我们需要清楚如何从现有的计算力中获得最大的收益。
那么,为何人工智能需要如此强大的计算能力?计算能力是否会限制人工智能的发展?我们能否不断满足人工智能持续扩大的计算需求?
人工智能“动脑” 背后算力消耗惊人
“2016年3月,谷歌人工智能阿尔法围棋(AlphaGo)战胜韩国棋手李世石时,人们慨叹人工智能的强大,而其背后巨大的‘付出’却鲜为人知——数千台服务器、上千块CPU、高性能显卡以及对弈一场棋所消耗的惊人电量。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示。
“相比云计算和大数据等应用,人工智能对计算力的需求几乎无止境。”中国工程院院士、浪潮集团首席科学家王恩东指出。
据介绍,人工智能最大的挑战之一是识别度不高、准确度不高,提高准确度就要提高模型的规模和精细度,提高线下训练的频次,这需要更强的计算力。准确度也是算出来的,比如大型互联网公司或者知名人工智能创业公司,有能力部署规模比较大的人工智能计算平台,算法的模型已经达到千亿参数、万亿的训练数据集规模。
“现在人工智能运用的深度学习框架,多数依赖大数据进行科研训练,形成有效模型,这些都需要较高的计算力。”谭茗洲指出,当前随着人工智能算法模型的复杂度和精度愈来愈高,互联网和物联网产生的数据呈几何倍数增长,在数据量和算法模型的双层叠加下,人工智能对计算的需求越来越大。无疑,人工智能走向深度学习,计算力已成为评价人工智能研究成本的重要指标。可以说,计算力即是生产力。
数据搬运频繁 “内存墙”问题凸显
人工智能为何如此耗费算力?具体而言,在经典的冯·诺伊曼计算机架构中,存储单元和计算单元泾渭分明。运算时,需要将数据从存储单元读取到计算单元,运算后会把结果写回存储单元。在大数据驱动的人工智能时代,AI运算中数据搬运更加频繁,需要存储和处理的数据量远远大于之前常见的应用。当运算能力达到一定程度,由于访问存储器的速度无法跟上运算部件消耗数据的速度,因此再增加运算部件也无法得到充分利用,就形成了所谓的冯·诺伊曼“瓶颈”或“内存墙”问题。这就如同一台马力强劲的发动机,却因为输油管的狭小而无法产生应有的动力。
显然,频繁的数据搬运导致的算力瓶颈,已经成为对更为先进算法探索的限制因素。而算力瓶颈对更先进、复杂度更高的AI模型的研究将产生更大影响。
王恩东曾指出:“计算力的提升对体系结构提出挑战。在半导体技术逐步接近极限的情况下,计算机发展迎来体系结构创新的黄金期,计算力的提升将更多通过体系结构创新来满足。”
据了解,最先进的自然语言处理模型XLNet约有4亿模型参数。据估算,人脑中细胞间互联轴突个数在百万亿到千万亿数量级。显然AI在认知问题上离我们追求的所谓通用人工智能还有巨大差距,而要达到通用人工智能的水平,预计研究所需要的计算能力和计算系统的能源效率将比现在至少提高几个数量级。因此人工智能要进一步突破,必须采用新的计算架构,解决存储单元和计算单元分离带来的算力瓶颈。
谭茗洲说,目前人工智能的无用计算较多。现在人工智能还像不断灌水一样,处在输入数据、调整参数的阶段,是个“黑盒子”模式,特别在图片视频方面消耗很多能量,而其中真正的有效计算却不多,非常浪费能源。今后AI有待在“可解释性”上进行突破,搞清是什么原因导致后面的结果,这样可以精准运用数据和算力,大大减少运算量。这也是目前重要的研究课题,将大大推动深度学习的发展。
计算储存一体化 或成下一代系统入口
“虽然目前阶段计算力还谈不上限制人工智能的发展,但计算力确实提高了参与人工智能研究的门槛。”谭茗洲指出。