技术是人类的工具，还是人类的“另一面”？｜

1月5日，在南都观察的“年度对话”上，我们邀请了五位嘉宾谈论“技术时代的爱与怕”。

科技跟每个人的关系如此深入而具体，数据的隐私，基因的权益，社会治理中安全与自由的平衡，医疗选择中优生和权利的轻重。在这些场景里，科技应该有边界吗？更重要的是，谁有权来决定边界？科技创造使我们向前发展，人文思考帮我们辨认道路。

以下为本次对话上半部分的文字整理。另有现场直播的回放，扫描二维码即可观看。

▌你在哪儿？科技让我们飞升还是制造牢笼？

余盛峰 （北京航空航天大学人文与社科研究院/法学院副教授）：人类的祖先曾经也跟其他动物一样，生活在丛林里、草原上，后来逐渐脱离动物界，建立了人类社会。人类的历史也是一部科技史，科技的发展让人突破时空的局限，上天入地。但是它有时候也会成为反作用于人的巨大力量。

人类现在似乎能探索得更多、更远，但有时候个人又经常会感觉到被困在非常有限的空间。我们每天被各色信息包围，有限的注意力让我们感到很忙碌，但年终盘点回忆的时候却觉得很空洞、空虚。吴国盛老师研究科学史，曾经在演讲中提到：“本来我们指望先进的技术代替人类劳动，从而使人闲得没事，正好从事艺术、科学的创造活动。现在不是这样，技术越发达，人类越忙。”每个人对技术的感知和看法不一样，请各位从总体上谈一下对科技发展和人类演进的看法。

徐英瑾 （复旦大学哲学学院教授）：古希腊认为技术和艺术有相通之处——都牵涉到目的的投入。今天我们会觉得艺术很“软”、技术很“硬”，彼此相差甚远。但在和美学体验相关的领域，比如电影制作、建筑、手机界面设计等，技术和艺术的融合还是相对明显。

在日本，商家设置移动支付只是为招揽中国人，只有中国人多的地方才会有支付宝和微信的二维码。为什么日本人不喜欢移动支付？因为他们认为当面恭敬地付账是一种很有美感的仪式，如果为了一点快捷就牺牲礼仪与服务的美感，是重大的文化损失。在德国、奥地利等欧洲国家也依然流行现金或传统信用卡支付。当艺术和技术能够相互协调前进时，技术是我们的朋友，但如果技术反过来压制我们对于生活美感的追求时，就机械化了。

吴国盛 （清华大学科学史系主任）：技术的话题既新鲜又古老。人之所以为人，就在于使用技术，人类的一切发展均蕴含了对技术掌握使用的环节。当我们试图评价技术对人类正面或负面意义时，是已经把人和技术这个“统一体”一分为二了，因此“技术是让人飞升还是堕落”是一个假命题。人和技术是一种镜像关系，不是主体与工具的传统内外关系。人类使用工具的过程同时也是大脑沟回的按摩过程。现代技术哲学认为“内外”一直处在持续互动当中，是事物的一体两面。

▲ 南都观察“年度对话”现场，从左到右依次为余盛峰、徐英瑾、吴国盛、季卫东、刘伟、刘锋。

季卫东 （上海交通大学文科资深教授、中国法与社会研究院院长）：知识、科学技术是人类认识自然、驾驭自然、改造自然的手段，但它们同时存在这样或那样的风险。比如汽车让交通更方便，但也会引起交通事故和环境污染，技术不断制造和累加的风险构成对人类的威胁和挑战。

进入21世纪，飞速的科技发展让人恐慌，大家开始担心机器人会不会在未来反过来支配人类。在科幻电影《2001太空漫游》中，人类要将出问题的机器人关机，机器人读唇发现生命威胁反将人杀掉。《终结者》系列也是讲机器人对人类进行末日审判的故事。欧美人崇敬造物主，所以十分恐惧人工智能的发展，东亚地区好像没有这种恐惧。比如纪录片《你好AI》、动漫《铁臂阿童木》中反映的全是人类友好的人工智能，但乐观容易忽视操作失误、社会安排愈加复杂等危险性。

从法学的角度来看，整个人类社会的组织原理是问责机制，人工智能高度发达后的算法“不可说明”会使责任追究变得复杂甚至无法进行。这就有可能导致秩序的崩溃。但我们不能因噎废食，限制人工智能发展、拒绝科技的采用。现在的乱象很像16世纪的欧洲，大部分发达国家是零利率，原本有效的机制都不起作用了，经济似乎失去了驱动力。在这个时候只有科技发展能带来新的产业革命和社会模式创新。所以，我对科技还是持谨慎乐观态度的。

刘　伟 （北京邮电大学岗位教授、人机交互与认知工程实验室主任）：我们在北京邮电大学的人机交互与认知工程实验室发现，当前做人机交互的很多，做认知工程的很少。因为人机交互涉及到人的生理和物理之间的作用，偏“脖子以下”，包括可视域、可达域、舒适域。而人机融合智能“偏脖子以上”，是人脑和电脑之间的交流融合。

科技这个概念，是东西方从古到今都关注的话题。所谓科学就是“分科而学”，分学科研究世界的发展，自然界的变化，解决人和物之间的关系。从墨子所处的战国时期开始，中国的科技就没得到政府太大关注，而在西方迅速发展。科技的发展造成大家很多伦理、习俗、习惯、认识思维方面的一些变化。现在一些简单的自动化设备还不是智能化的，离人工智能还很远，真正的智能具有自主性，它不需要人的操控，自动识别目标、决定操作方式。当人工智能真正地登上历史舞台是非常难以想象的，不过从我们的研究推测这一天还非常遥远。

刘　锋 （《人工智能学家》主编）：我用比喻回答这个问题。第一，把我们人类总体看成一个人，而把技术看成是一个锤子（一个工具）。这个锤子很奇特，在过去的几万年间变得越来越沉重，人类如何使用它？我们本身的力气（对技术的把控力）够不够？人类在精神、思想等层面上的成长跟不上科技发展会怎样？这是第一个问题。

第二，达尔文的“进化论”认为生命进化是没有方向的。人类拎着这样一个锤子没有目标四处游荡的话，那它就是一个累赘。若有方向，比如用锤子在大山开路，这个技术才有价值。人类“飞升”的目标是什么尚有争议，但从我们的研究判断，人类进化可能有方向，而技术会在其中起到非常重要的作用。

第三，锤子本身会不会变成了一个生命？它会不会自己去开路、前进或游荡？这涉及科学界一个令人困惑的问题——什么是生命？生命和非生命之间出现了智能体，它既有像人的智能属性，但好像又缺了什么，它是否能跨过生命的鸿沟转变成生命进而抛弃人类？

我自己判断，技术是带领人类飞升的工具，但利用不好也可能受到反噬重重摔落在地面。比如我们恐惧的核武器，可能在外星陨石要砸向地球的时候，就成为人类最好的保护神。恐龙没有这样的武器，它就灭绝了。评判任何的科技、工具要看我们如何使用它，我们的觉醒程度如何。

▌你是谁？制造工具还是被工具制造？

余盛峰 ：总体听下来有一个关键词，人和技术已经呈现一种互为镜像的共生关系。一些研究指出互联网之所以能够进化到现在，就是因为它充分利用人性，比如数字货币利用人类贪婪财富等特点，所以技术在某些方面可能像一个母体，充分利用了人性帮助自己进化，而不止是人在利用技术本身。

我们知道，现在很多单位、小区和高校都开始刷脸进门了。刚才大家进场，也有人为了得到一本赠书刷了脸。现在是万物互联时代，通过各种新闻客户端、购物网站，还有一些智能家电应用，我们有时候会感觉自己是一组数据符号。人工智能在语音识别和互动方面不断进步，我们的特征、喜好，通过这些数据被定位，被定义，我们自己反而越来越少思考和选择。所以这里有一个悖论，我们到底在制造工具，还是被工具制造？

这里我们再来做个互动，台上的嘉宾和台下的观众都可以举起手中的手牌参与。如果你觉得自己是有主体性的人，不会受算法推荐和平台广告支配，就举蓝牌；觉得没有这些数据应用我寸步难行就举红牌。（现场举蓝牌多。）更多人举蓝牌，说明大家还很自信，但这一切是否可能只是我们作为一个理性人的幻觉。一个美国学者认为这就是自主性陷阱，即我们自认有主体选择时，其实不经意在被算法塑造支配，是如此吗？

▲ 南都观察“年度对话”活动现场观众互动。

吴国盛 ：人类被技术控制吗？比如我们现在穿衣服出门而不去训练让自己体内发热的技能，是被衣服所控制吗？人总是要接受祖先遗留下来的生活方式控制的。某种意义上讲，人类遭遇的所有问题都不是新问题，之前讲的计算机消灭人类的问题，就是一个异化的问题，也是个古老的问题。比如，我们选举一个人当领导，结果人民的公仆反过来鱼肉人民，这就是异化问题。回忆历史上人类和技术的关系，金字塔能造成关键不在工具技术，而在于奴隶制度、法老制度，千百万民众对权威的服从。同样，只要不产生对机器人服从的意识形态和文化基因，机器人就对人就不会有威胁，人们会在机器人有自主性萌芽时就将其扼杀掉。

今天谈“技术时代的爱与怕”，只是将技术作为显著的道具来显示人类永恒的境况，过去的道具也可能是宗教、艺术、神话。对新鲜事物的不适应，对变化速度的不耐受，这关涉异化的问题。旧石器向新石器的转变，采集社会向农业社会的转变，农业社会向工业社会的转变，过程中都会有人不适，适应了也就好了。所以技术的问题不是新出现的，重要的是看清问题的本质。

徐英瑾 ：人类基本的心理构造和生理构造，和采集狩猎时代没有根本性的变化，但是我们的技术发生了很大变化，导致了原始的心智架构和海量信息之间的不协调。为什么获取更多信息反而使得我们阅读能力下降呢？因为我们的信息处理速度和古人是一样的，更多信息没有时间进行咀嚼加工，导致信息不如以前精挑细选的价值大。

中学时，我们班里“学渣”都读过金庸小说，金庸的中文底子碾压现在的网络文学，所以大家阅读起点就很高，而现在大家的时间都被一些短视频占领了。短视频特点之一在于弱化了语言思维能力和想象力。通过文字想象图像可以加强图像和文字两个脑区之间的关联，对心智锻炼有好处。特点之二在于破坏记忆力。读金庸小说，要记住很多英雄和帮派的名字，大脑构成一个概念树，长期记忆和工作记忆之间的信息可以调换。有时候忘了往前翻几页，增加对文本的整体把握能力，有时候同学间讨论小说情节又增强了讨论文本的能力，学术能力也上来了。

互联网的特点在于传播速度快，所以有一句名言“不怕没人骂你，而是没人看你”。而“快”破坏了我们的长期记忆，是造成认知能力断裂的可怕杀手，我称之为一种“思维的硝镪水”，把我们思维的结构全部破坏了。

季卫东 ：这个话题有两个非常有意思的层次：第一层面谈到了大数据对人的形成作用。我回想到十年前刚从日本回国的时候，习惯于用现金购物，但国内的年轻同事和学生都在网上买东西，又便宜又好。现在很多人日常生活基本上都通过外卖解决。这种电商平台积累了个人消费行为和选择偏好的海量数据。芝麻信用对个人在网络上的行为进行观察、统计、打分，根据分数判断信誉。我们所说的大数据时代的网络人就这样逐步形成。在这个意义上我们好像在网络空间上有一个分身。这个网络人是大数据和人工智能创造出来的，却与我们每个人如影随形。社会和网络依此影响现实中我们的就业、医疗、贷款甚至是家庭成员的社会进路。在这个意义上也可以说，大数据就像《1984》里的那个“大哥”。

▲ 南都观察“年度对话”现场，嘉宾季卫东发言。

另一个层面更抽象，有些哲学意味，即科技与人的关系。法律讲文本分析，举个阿西莫夫机器人三定律的例子，它涉及了这个专题不同层面的问题。第一点，机器人绝不能伤害人，也不能坐视人被伤害；第二点，它必须服从人的指令，除非人让它伤害人；第三点，在满足前两个条件前提下，尽可能保护好自己。这三点意味着技术对人的所属关系，所以是人制造工具，而不是工具制造人。人必须对机器人进行绝对控制，所以有一个极端说法叫“机奴”，用奴隶的观点看人工智能。

但是具体运用的时候，三定律自身也会发生矛盾和冲突。最近对伊朗苏莱曼尼上将斩首事情大家有不同看法，有人认为这是一场战争的革命，使得人类以最小的牺牲和成本达到战争的目的，但也可以说这是一个极其冷酷的毫无边界的屠杀行为。这样的规范之间冲突会让思考停止。图灵停机问题也是因为自我指涉的系统产生悖论导致人工智能很难进一步地运作下去。阿西莫夫在《机器人与帝国》继续提出来了“零定律”，就是要在服从人类整体利益基础上服从三定律。

但从法律解释学的角度来说，什么情况下、以什么为标准判断人类受到伤害，就非常复杂了。反过来人工智能如果有了自我意识，有了精神活动会怎样？人工智能以人类整体利益的名义来抵抗人、伤害人怎么办？这个就是我们所讲的人类对技术的“怕”，对人工智能的担忧。还有机器人造成失业的担忧。从法律上看，工作都被机器人抢走了，社会问题怎么解决？比尔·盖茨提出了向机器人征税，通过财政再分配的方式解决问题。为什么可以向机器人征税而不是向企业家征税？要不要赋予机器人人格？要不要承认它在法律上的地位？人与机器人、人与人工智能是否具有在法律面前人人平等的资格？这些问题值得我们继续思考。

余盛峰 ：吴老师认为太阳底下没有新鲜事，早期时代到今天的后工业时代，人和技术始终处于制造和被制造的复杂关系。后面两位老师认为从农业时代到工业时代再到大数据时代其实已经发生了一个质的变化。在这个过程中，包括技术伦理重建等棘手的问题还有很多讨论的空间。

大家知道“基因编辑婴儿”的贺建奎因为把胚胎基因编辑技术用于辅助生殖医疗，产下了一对可能免疫艾滋病的婴儿，最近被定为“非法行医罪”，判了三年有期徒刑。这件事当时产生了很大的争议，人到底有没有权力去选择自己后代的基因？这个背后其实带来非常重要的生物伦理问题，基因携带了人体信息，其实也是每个人身体的数据库。如果技术上可以实现编辑和修改，我们能像程序员写代码一样，去写我们或我们后代的基因，来决定他成为一个什么样的人。这跟制造机器人有什么区别？这样被编辑出来的人，他具有主体性和自由意志吗？

徐英瑾 ：有人认为人类在早期就开始改变基因了。人类把狼驯化成狗，把野猪驯化成家猪，也一直设法改善我们后代的基因。比如朱元璋后代越长越好看，据说是因为娶了好多高丽妃子，基因融合进化改善了大明王朝的基因库。但古时候我们还没基因科学，因此，我们还不能精密地、定向地选择基因，选择过程有很大偶然性。但需要注意的是，偶然性可是一个好东西，你硬是要消除偶然性，人类的一些很重要的心理倾向的落脚点也就没了，比如说，“惊讶”这种心理情绪就是依附在偶然性之上的。追剧的人最讨厌被剧透，影视公司在拍摄影片时也谨防剧本外泄，这就是因为制作方怕破坏惊讶感，而惊讶感不被保护好，票房也就危险了。所以，我将影视业所产生的GDP称之为“惊讶GDP”。

婚姻有最大的偶然性，也是乐趣最大的事情。男性思维都有猎取性，向别人求爱有可能被拒绝，正如打猎有可能失败，但恰恰有了不确定性，人生才有意思。如果我提前敲定每一个基因的表现型，预知自己的死亡方式甚至细节，这就消灭了偶然性的空间。基因编辑技术通过基因型的构建来预报表现型的所有细节，这就等于是消灭了父亲遇到新生儿的全部喜悦。

▲ 南都观察“年度对话”现场，嘉宾徐英瑾发言。

但富有讽刺意味的是，偶然性可能是消灭不掉的。从客观的角度上来讲，我们对于基因型和表现型之间关系的知识很可能是不完整的，再过20年基因科学家又会取得新进步、产生新看法。同时客观环境的变化也是我们无法控制的，比如一个健康的人遭受核辐射也会发生基因突变，这突变不是最初基因设计时就出现的。所以基因编辑的危险就在于：编辑者在主观上想消灭偶然性，客观上却又无法消灭。在这个基础上建立社会建制的构建，将会非常缺乏弹性，以至于当真正不可消灭的偶然性出现之时，人类会变得手足无措。

季卫东 ：关于伦理问题，大家都很熟悉福特提出来的“电车难题”。如果从功利主义的角度解决电车难题，避免五个人的死亡，选择杀一个。但从人权的角度看，凭什么可以根据个人意志来杀死一个人？如今这个难题以新的方式出现。人因为能力的局限被容许抉择，而人工智能可以飞速做出抉择，偶发事件不能再以无法瞬间决断为由。比如自动驾驶技术一开始就需要假定出现这样的情况怎么选择，算法怎么设计，所以伦理问题以非常突出的形式呈现出来，抉择的矛盾将变得更加尖锐。

从法律角度看，利用现代科技来预测犯罪在美国早有尝试，芝加哥预警系统就可以根据每个人过去的行为，计算什么区域、什么人有可能犯罪，预先采取防范措施，甚至有可能提前逮捕、制裁。利用高科技预防犯罪有其合理性，但是也会带来非常大的伦理难题。现代法制有一个很重要的无罪推定原则，即没有充分证据就必须假定他无罪，不能采取措施。而人工智能用于预警系统的前提就是有罪推定，它假定黑人、穷人、游荡者可能犯罪，甚至还可以先发制人，这就带来了更多的伦理问题。