用“小AI”解决人工智能的“大”烦恼

　　人工智能在不断发展的同时，其背后算力的消耗也十分惊人。有统计显示，谷歌公司研发的伯特预训练语言模型，拥有3.4亿个数据参数，而训练它一次所需的电力足够一个美国家庭使用50天。

　　承载了人类未来大梦想、大可能和巨大挑战的人工智能， 火了这么些年，取得了长足的发展，与之相辅相成的，是人工智能日益“庞大”的架构体系，诸如常以十亿计的计算单位，庞大的云计算数据中心……越来越“大”是人工智能的现实与未来吗？

　　近日《麻省理工科技评论》公布年度十大突破性技术排行榜，微型人工智能技术（Tiny AI）位列其中。从大到小，难道是人工智能正在“返璞归真”的途中？

　　不可持续的“大”人工智能

　　我们都知道，随着研究人员不断给算法“喂养”大量数据，机器学习变得越来越聪明，但它们是否也变得更环保呢？答案是否定的。

　　不可否认，人工智能在过去几年中取得了许多突破。深度学习是许多人工智能系统实现高精度的突破之一。研究人员发现，虽然人工智能每一天都在变得更加精确，但同时也带来了隐藏的环境代价。

　　“当前人工智能携带着庞大的数据集被输入到云数据中心，然后由无穷无尽的算法进行分析。”威海北洋电气集团股份有限公司副总工程师秦志亮表示，数据上传到云中心的过程，以及通过复杂的算法结构和精巧的训练方式获得高精度的算法模型，不仅会产生惊人的碳排放量，而且限制了算法模型的运行与部署速度，同时带来很多隐私问题。

　　美国马萨诸塞大学阿默斯特分校研究人员的一项研究结论对秦志亮的说法提供了佐证。他们通过揭示算法训练的能量强度发现，训练一种算法产生的二氧化碳排放量相当于一辆普通汽车终生二氧化碳排放量的5倍，或者相当于飞机在纽约和旧金山之间大约300次的往返飞行。研究人员认为，在寻求人工智能高准确性的过程中，人们似乎失去了对能源效率的关注。

　　事实上，“大”人工智能也不适合离线和实时决策，比如自动驾驶解决方案，且日益依赖于巨大的能量、巨大的带宽，这种模式在经济和生态上同样具有不可持续性。

　　另外，更让研究人员担心的是，这一趋势还可能加速人工智能研究集中到少数科技巨头手中，在学术界或资源较少的国家，资源不足的实验室根本没有办法使用或开发计算成本昂贵的模型。

　　去中心化或是未来趋势

　　人工智能虽已融入大众生活，但最终的成功还要取决于“落地”，实现大规模商用，这应该是推动微型人工智能发展的直接原因。

　　“为了实现人类对人工智能远大的梦想，我们必须从小处着想，甚至很小。云数据主导的趋势正在转变，未来的人工智能环境将是去中心化的。”海南普适智能科技有限公司CEO陈啸翔说。

　　海南中智信信息技术有限公司总经理于建港认为，“这是一条与计算机发展相反的路径，计算机的发展经历了从个人终端，然后到互联网化、虚拟化的过程。而微型人工智能是先互联网化、虚拟化，再终端化。”

　　以伯特（Bert）为例。伯特是谷歌公司高级研发科学家雅各布·德夫林（Jacob Devlin）和他的团队开发的预训练语言模型（PLM），它可以理解单词和上下文，可以为写作提出建议或独立完成的句子。《麻省理工科技评论》报道中称，伯特拥有3.4亿个数据参数。此外，训练它一次所需的电力足够一个美国家庭使用50天。

　　华为研究人员则发表文章称，他们制作了微型伯特（Tiny Bert）模型，尺寸比伯特缩小7.5倍，速度还快了近10倍。来自谷歌的研究人员也发表文章说，他们已经造出了一个比伯特小了60多倍的版本，但其语言理解能力略差于华为的版本。

　　华为和谷歌他们是如何做到的？其实，这两家公司都使用了一种常见的压缩技术的变体，这种技术被称为“知识提取”，可以让想要缩小的大型人工智能模型去训练其图像中的小得多的模型，类似于老师训练学生。

　　我们可以这样理解，微型人工智能应是人工智能研究界为缩小算法规模所做的努力。这不仅是减少模型的大小，而且还加快推理速度，保持了高水平的准确性。此外，还可以在边缘部署小得多的算法，无需将数据发送到云，而是在设备上进行决策。

　　三个方面缩小现有模型

　　微小数据、微小硬件、新型材料、微小算法，微型人工智能是一种综合方法，涉及数据、硬件和算法的共同开发。