对话图灵奖获得者:给AI的规则就应该和烤面包机的一样_广式月饼系列_开云登录网页体网下载-官网

对话图灵奖获得者:给AI的规则就应该和烤面包机的一样

  “ChatGPT 真厉害,说得跟真人一样!”和“这大胖闺女真聪明,说得跟大人一样!”,有啥区别?

  你和 AI 以后会是啥关系?a. 互为伙伴;b. 互为爱人;c. 互为奴隶;d. 互捅

  我们和一位“老牌”图灵奖获得者聊起了上面这样一些问题,被狠狠地上了一课——这个老头把我那些对于 AI 的恐慌全部打消了,但他也破灭了我关于 AI 的那些仰望和畅想。两个多小时聊下来,我对于 AI 的感情,就跟我家洗衣机电冰箱甚至马桶圈相差无几了。

  约瑟夫·希发基思(Joseph Sifakis),他早在2007年就成为图灵奖得主。在他最新出版的著作《理解和改变世界》中,他借由 AI 为讨论主题,描述了一套新颖的技术哲学体系——关于知识和信息、文明和智慧,在一套精妙的工程学思维之下。

  果壳:你为什么写一本这样的书?从对“知识”的分析开始,来阐释 AI 所带来的机遇和挑战。而今,大多数人则更关心 AI 如何又站上“风口”,以及它的颠覆能力。

  希发基斯:今天,人人谈论“智能”,声称机器已经到达了人类的智能水平,但这些人却无法精确地回答“什么是智能?”

  我的确相信 AI 能用来解决一些问题,但离我们说的 AGI(通用AI)还远着呢——AGI目的是达成“人类智能”水平。

  “人类智能”的特点是其具备理解世界的能力。为此,人类“配备”了常识性知识(从出生起逐渐建立)——这是我们对于世界所建造的一个模型。“常识”为什么重要?我举个例子,无人驾驶将月亮认错为黄色交通灯,但人知道交通灯不可能挂在天上。

  还有一点很重要,人能做从感官到思想,从思想到行动的推理。如果我给你看一个部分被雪覆盖的停车标志,你立马就知道是什么——因为你把这张图片和脑中早已对其建立的模型联系了起来。但想让神经网络识别停车标志,就需要有各种天气状况下、各种样子的停车牌供它训练。

  “智能”是什么?怎么来实现它?作为一名计算机科学家,我想先从解释“知识”开始——知识,作为一种有用的信息,人们是用它来处理问题的。“人类智能”和“机器智能”都能开发和应用知识,不同之处在于刚刚所说,前者有理解世界并对内、外部刺激做出响应的能力——也叫“意识”。

  果壳:你认为 AI 生成的“知识”,还能沿用我们历史上对于知识的定义吗?

  希发基斯:做 AI 的人不会解释这一点。我们有不一样的知识,依据它们的普遍性和有效性来划分。

  比如,像刚说的常识性(经验)知识,因为它,人才能走路、说话。当我们做这些事时,大脑其实正在解决一个十分艰难的问题,但我们却不知道其中的“工作原理”,这是经验知识泛化的结果。人不用推理,也知道父母比孩子年长。神经网络产生的知识也包含在这个类型之中,因为与人产生和应用这类知识时具有相同的性质——处理问题,不必知道为啥,还有能通过学习来产生这一类型知识。

  “科学和技术知识”是基于数学模型的,和“常识性知识”的不同之处在于,前者具备可解释性。我们为什么相信科学?当人类建桥造楼,因为了解其原理,从而确保它们不会轻易倒塌。

  但我们对 ChatGPT 生产的知识半信半疑。毫无疑问,ChatGPT 能提供知识,它在一些回答上表现出色,比如你让它总结一段中国历史。但它会犯逻辑错误。我们大家都认为它没那么可靠的原因是,没人构建来解释 ChatGPT(神经网络)行为的科学理论——但我们需要。

  AI 被允许利用它的“可预测性”,解决一些我们不知道怎么通过推理来解决的问题,即便我们也不清楚它是怎么做到的。但只要有一天它没有实现“可解释性”,我们都得对AI保持谨慎。

  果壳:AI 生成知识,有哪些优于人类的优势?我们该如何利用它,帮我们解决无法通过推理来解决的问题?

  希发基斯:人类思维系统中,有“意识”和“潜意识”。当人们推理、写代码时,靠的是意识思维;跳舞、打鼓时,在做潜意识行为。神经网络生成知识的方式,类似人类的潜意识。

  大脑有意识能掌握的复杂关系是有限的,能关联的参数数量的上限大约是五个(一个关系与四个参数),无法同时建立起大量操作单位之间的关系。你看,人类通过建立科学来了解世界。科学理论是简单的理论。比如,很多经济学家遭人诟病,因为人们认为经济学理论无法建模人类行为,似乎在简化现实。

  AI、超级计算机的出现,有可能构建我称之为“Neural Aura”——一种巨大的神经网络。它可以被用预测复杂现象——有成千上万参数的那种,比如气象、经济、社会等。今天,我们研发用于预测地震的神经网络系统,通过不断学习,它们能够比科学理论更准确地预测地震。

  AI 能让我们突破认知复杂度的限制,间接扩展人类智力。这就是我说的,你不需要理解,但也能通过预测获得——某一些程度上,这也是有用的知识。

  但是与此同时,一场计算机和人类之间的“分工之战”也拉开了——人不再掌握生产知识的特权,机器也可以了。

  希发基斯:不能说是好是坏,我只能说“有用”,其中的不确定性在于是我们去怎么使用它。任何技术都是如此,就像核能。技术开启了可能性,应该由人类来定义它们的规则,以一种对人类利益好、对社会利益好的适当的方式。

  果壳:像你刚刚说的,人类能理解世界是因我们具备常识。ChatGPT 能读懂梗图,能说它有常识,能根据常识推理吗?

  希发基斯:ChatGPT 为自然语言处理的难题带来一个答案,研究者们对其等待多年。传统方法是象征(主义)学派的方法,通过分离语义结构,把每一个单位,按照层级构建出概念之间关系的语义网络(模型),从而得到一段自然语言整体的意思——这种方法从未奏效。

  ChatGPT 采用了不同的方法,它没有语义模型。大语言模型认为一个词的意思是由语境定义的。语境决定了这个词后面跟着哪些词。大语言模型用机器学习概率计算出下一个最大有可能出现的词。ChatGPT 在没明确(语义)模型的情况下捕捉到了一些语义——这是我还没想明白的事情,对我来说是一个惊喜。

  它没有常识推理。理解世界的前提是有一个对于环境的抽象模型(不要跟神经网络模型混淆),模型之中分布符号知识,人类能把感官得到的具体知识,与符号知识对应上。拿无人驾驶举例,摄像头是来辨认分析障碍物的,想象一下如果在系统里,也有一个“知识库”,外面信息进来后,能找一个对应点,预测结果就会更好。

  但是我们不知道怎么去做。我认为这是对于 AI 最大的难题,联系具体知识和符号知识在一起。人在一些语义模型的控制下,推理是具备鲁棒性的。如果对 ChatGPT 进行鲁棒性测试,它并不能够确保答案的一致性。

  果壳:今天很多人在工作流中加入 ChatGPT 辅助,如果人们养成过于依赖用 AI 来生产知识了呢?怎么避免这种技术滥用?

  希发基斯:ChatGPT 跟 Google 还不太一样,Google 只是给你信息,你得管理,用 ChatGPT 就简便多了。想象你有一个奴隶,你要求他做这做那,他按照你说的去做,实则你将越来越依赖他,成为“奴隶的奴隶”。

  长此以往,人类将丧失某些方面的智力。尤其儿童更甚。我看到一些孩子不知道“乘法表”。这不是“硬背”的事儿,他们得知道数字之间关系,那是我们用来推理世界的非常基本的关系。

  17、18 世纪的欧洲,科学理论为工业革命奠定了基础,生产力发展推动社会进步。人类是过去历史的“主角”。人类是以推理为基础认识世界的,这是人类文明的成就。随着人工智能的出现,许多人说,科技将变成全球的“主角”。知识由AI系统生产,系统由少数大型科技公司研发,你也不清楚知识怎么被产出的。人们对待知识的态度,再不像以前,反复讨论和验证科学理论的正确性。知识就像一个商品,拿来即用,别无选择。当人类别无选择的时候,就是机器在“发号施令”。面对机器的竞争,人类应该掌握知识的生产,发展。

  果壳:这让我联想到,在 AlphaGo 之后,现在很多孩子学围棋,是在“向 AI 学习定式”,判断标准也成了“谁和 AI 下得更像”,你怎么样看待这种现象,未来会在哪些领域出现类似情况?

  希发基斯:发现(discover)和发明(invent)之间有区别,我不知道在中文里是否也如此。AI 发现,通过数据它总结发现“模式”;人发明,因为人有创造力。他们都有智能,但以各自方式实现。学生被 AI 训练下围棋,影响是什么?这样做多大程度上影响我们做事方式?我不好说。

  果壳:如你所说的话,那人类该以什么方式与机器合作?彼此之间的关系应该维持在什么样子?

  希发基斯:意识主导潜意识。我也认为人类和机器的关系可以是这样的:人类来主导(机器)。

  人类已经有很多“自动化系统”了。自动化系统就像“电梯系统”,你选一个楼层,电梯给你送到,一次操作解决一个目标——自动化系统一步一步执行人类编写的代码程序(如果说神经网络类比潜意识,这类系统就类似意识思维,具备可解释性)。

  AI 补充了上述自动化系统,解决了一些它很难解决的问题。这是一个巨大的进步。业界训练了对话 AI、AI 来打游戏、识别分析图像——目前我们有了垂直领域的AI,解决特定问题。但“问答游戏”是简单的人和机器协作。我们想要协作更深入一些,一起执行任务。能协作多少,多深,就跟机器的自主性(autonomy)有关了。

  理想状态,是我们所说的“共生自律(Symbiotic Autonomy),一种机器与人类共生生态。但我们大家都知道光是“人机共驾”就已发生过很多事故了,所以让人类和机器协作,远不那么容易的事情。

  希发基斯:我举个例子。如果无人驾驶通知人类驾驶员说,“我需要你的帮助”。无人驾驶需要以一种人类驾驶员能理解的方式,告知驾驶者哪儿出了问题。人类驾驶员理解了问题,也要有时间来反应。所以无人驾驶直接把驾驶权交出去是没用的,人类得反应,所以它得给一个人类能听懂的“诊断”。更好的情况是,有危险的时候,系统自己做些什么。

  相反,人类驾驶员察觉不对,想接管驾驶权,但也许这时汽车或飞机处于人类无法控制的境地,人类接管反而会让其至于危险。

  所谓的共生,就是人与机器一起持续地完成一些事情。相比来说,我反而认为机器“完全自主“是一个更简单的问题。

  希发基斯:我们有用来解决特定问题的 AI。我们甚至惊讶,AI 比人类做得还好。因为论“精确地计算”,人类不可能做得比机器好,人类也不擅长于此。这跟“智能”概念相关——机器拥有“计算智能”,是指分析数据并从中学习。

  人类更多依靠“象征性思维”进行推理。人类智能不是发展成用来解决特定问题的,而是协调地(综合技能、综合目标)解决一系列问题的。智慧(或元知识)是关于知识的知识。我不认为今天的机器有能力发展出元知识,组合一个个小的解决方案,形成大的。

  果壳:你曾在公开场合表示,“自主系统”是接下来迈向 AGI 的重要一步。为什么“自主性”这么重要?

  希发基斯:“人”就是一个反应系统、一个自主系统。人类能在给定的环境下发展出智能,我们生活在地球,所以发展出适应地球环境的智能;如果到了火星,就会发展出适应那里的智能。我研究无人驾驶汽车,10 年前我们大家都认为,2020 年实现无人驾驶不过近在咫尺,但这没发生。原因是无人驾驶系统没有“可靠地”理解周围发生了什么,可能未来很多年还不会有。

  自主系统要求与环境持续互动,它必须同时管理多个目标。这很困难。一辆无人驾驶汽车,有短期目标“保持当前线路行驶”,还有中期、长期目标“开到北京”,在这些目标的“平行”追逐之中,当一个目标被更改,整体也要保持一致性,不对其他目标造成干扰。当构建一个系统时,能设置的目标是有限的,不像人类,人类可以自动创建新目标,想象将遇到的新状况,和对应的解决方案。

  我认为迈向 AGI 的重要一步是自主系统。一个自主系统由子系统与代理(agent)组成。“智能代理”能自主理解、规划、执行任务,代替“人类代理”。这是物联网所设想的,举个例子,智能工厂(有许多智能机器人,或任何能够最终靠编程来协作的设备)、智慧电网等等。

  但是“代理”会出现“自私”行为,这在某种程度上预示着你比起关心其他人的舒适性,更关心自己是不是舒适。这就带出另一个概念,“集体智能”——所有代理都像社会中的人一样愿协作、懂协调。打个比方,任何一个人都是一个“自主系统”,受制于“尊重他人”的法律。但单单一个自主系统如此行为还不够,其他必须都如此行为,(社会)才能全局运行起来去完成目标。AI 自主系统还很遥远,因为“集体智能”概念没有被很好地理解。

  事实上,AI 研发者应该更多地向人类学习。人类思维是基于价值观的,但这恰好是我们不太了解的:人们如何表现得合乎道德?人类如何遵循规则做出选择?法律是被强制执行的,但道德同样有效地约束着人们的行为。

  希发基斯:也有一些公司通过所谓的端到端AI解决方案构建“自主系统”。典型的有NVIDIA,Waymo,他们利用端到端AI解决方案开发了无人驾驶平台。

  我曾在飞机制造业有多年工作经验,知道光有软件是不够的,你得把它们集成到飞机上,确保它们能够应对设备的所有故障。你一定要解决系统工程问题。

  这关乎于我们怎么样看待“智能”,如果智能被认为仅是一个“对话问答系统”,那我们已做到了;如果愿景是 AGI,是实现代替人类执行不同任务的机器,那就不同了。我们想用代理,比如无人驾驶平台,代替人类开车,得把它集成入机电系统中。因为你看,人类智能也不仅是你的大脑——自主系统光AI组件好用是不够的,还是“双手”(去配合),是你所有的行为动作。

  果壳:“图灵测试”还有实际意义吗?好像慢慢的变多的大语言模型号称都能应付了。

  希发基斯:我认为只是通过对话的测试并不好。现在有些系统声称和人类一样聪明,因为它们通过了“图灵测试”,这在“技术上”来讲是毫无意义的。图灵测试中携带测评者的偏见和主观性。很多任务下,机器表现得比人类聪明,但是人类智能是不同的。

  问题还是:你如何定义目标?如何定义智能?智能意味着什么?我在论文 Testing System Intelligence 中提出,“替代测试”——如果A能替代B执行一个任务,在该任务下,A和B一样聪明。

  如果你接受这个定义,你就会发现有不一样的智能,智能不是单一的。根据所定义的每一个任务,有对应的智能标准——智能的标准不是通用的。

  果壳:脑科学发展滞后于 AI 发展,这是一种错觉么?这种差距会成为一个拖累 AI 发展的问题么?

  希发基斯:神经科学发展得没有 AI 快,这是事实。但我不认为,仅仅靠研究大脑,就能在理解人类智能上有进一步突破。我们该把大脑中发生的和思维中发生的联系在一起。我做了大脑(brain)和思维(mind)区分。大脑是“硬件”,思维是“软件”。哲学对此有很多讨论,法国哲学家迪卡尔讨论过著名的身心问题(mind-body problem)。举个例子,搞清楚笔记本电脑工作原理,不能只研究电路,也得研究软件,出问题了,也许是软件代码出错。今天大多数关于人类智力的重要研究都集中在大脑,当然会取得一些进展,在我看来,也会遇到瓶颈。

  神经科学方面的进展可以助力 AI。人类意识是“人”这个自主系统中的一个元素,之前我们已聊到意识起的作用。通过研究人类意识,能帮助建立自主系统,并还有 AI。

  希发基斯:像我们刚说的,你不需要一个“孤零零”的大脑,你需要一个会执行任务的大脑,所以你要解决关于系统工程的问题,以及“集体智慧”的问题。这样一些问题极富挑战。我不知道能被怎么样才能解决。AI 未来很有希望,有很多开放的可能性。但无论任何一项技术,我们该执行“怎么样去使用它”的规则——充分的利用技术的同时,保护对人类来说很重要的东西。

  希发基斯:我们不需要新的规则。我的意思是,我们对于任何“人造物”都设有规则:一台烤面包机能售卖,前提是经过安全认证的;建楼得符合施工标准,有(第三方)机构检查规则实施情况……但在不同场合下使用,风险程度是不同的。比如让 ChatGPT 帮坐在办公的地方的你写个文档,还是成为工厂流程里的一环。

  根据“人造物”要去执行的任务的关键程度,你得需要不同保证(Guarantee),在保证之下,它才具备“可靠性”——这就是规则。

  在欧洲,有一项法律,我们叫做“预防原则”:当(一项技术使得)人类生命受到威胁,或环境遭受威胁时,毫无疑问,不要做!即便有经济利益可图——我们比美国“保守”很多。

  今天的 AI 没有规则。不仅是 AI,数字系统都如此,你买了台笔记本电脑,受到网络攻击,然后呢?所以现在的问题是,如果不知道怎么将系统构建得安全,在没有规则的情况下,能允许它的使用吗?在美国有一个趋势,允许自我认证——没有标准,谁生产,谁负责,比如特斯拉。

  我们冒着风险使用没有标准的 AI。因为应用标准会引起巨大的讨论声音。有些人说,我们不需要标准,因为标准会阻碍创新。

  也有人说,我们该停止这,停止那。我自己也签署了一些请愿书。(一封发布于 2023 年 3 月,内容是呼吁暂停AI 大模型研发至少六个月,等待有效监管跟进;另一封发布于 6 月,内容是呼吁降低 AI 灭绝人类的风险,其风险性应该与与大流行病、核战争一样被对待。两份呼吁信,希发基斯都是签署人之一。)

  我们能否接受,用不审查、不受控的方式使用 AI,仅仅是为了追求效率?代价是人让渡了关键决策的控制权,这可能意味着,只有大型科技公司才知道怎么使用“系统”,因为“系统”大多由他们而生。

  果壳:你觉得我们现实对 AI 的风险监管,会是一种对于“阿西莫夫机器人三定律”的模仿吗?

  希发基斯:阿西莫夫说,机器人一定要遵守三条定律,不得伤害人类;服从人类(不与 1 冲突);保护自身(不与 1 或 2冲突)。阿西莫夫故事里机器人是邪恶的,(而在现实中)这种风险是没有理性依据的。

  一些人说 ChatGPT 能制作假视频,或指导人们如何制造炸弹,而这些的前提是,人训练了 ChatGPT。设定规则,不是因为机器会制造阴谋支配我们。我认为机器人就没有(伤害人类)意图。反过来,我也不认为 AI 更能遵守道德规则。现在有人说,需要 AI 与人类价值观利益对齐(Alignment),我觉得是谬论的。因为遵守道德规则的前提是,有理解能力,能做出选择。AI 没有理解能力,我们在上面讨论过。

  风险来自于人类本就没把系统设计好,使得对 AI 的使用增加了风险。AI(技术本身)不是对人类的威胁,而是各国政府、国际组织没有承担起规范 AI 使用的责任。如果政府决定对其无作为,那就是社会的责任,比如别太过依赖机器。

  技术发展太快,社会没时间做出一定的反应。大型科技公司推免费应用,只为了获得大量用户,他们制定了“规则”,游刃有余,没有阻力。我认为社会应该停下来思考一下。无论如何都不是不负责任应对的借口——他们早已应该做大量事情,保护数字系统中的用户。

  Joseph Sifakis(约瑟夫·希发基思)是中美法三国院士。他于 1946 出生于希腊,与 Edmund Clarke 和 E. Allen Emerson 一起荣获 2007 年图灵奖,因其“将模型检查(Model-Checking)理论发展为被硬件、软件业中所广泛采纳的高校验证技术”所做的贡献。模型检测技术被应用于计算机硬件、软件、通信协议、安全认证协议等领域,成为分析、验证并发系统性质的最重要的技术。


上一篇:外媒更新XSS烤面包机评测:仅用十几次 两周就坏了

下一篇:在俄罗斯做书12年我踩过的坑比吃过的面包都多