【编者按】
我们是如何获得心智的？尽管我们对蛋白质、神经元和DNA内部工作机制的理解比以往任何时候都更加深入，但我们的心智是如何形成的这个问题在很大程度上仍然是一个谜。《从细菌到巴赫再回来》一书是《直觉泵和其他思考工具》一书作者丹尼特的新书，在书中他对进化思想进行了全面的探索。他以计算机科学和生物学的思想为基础，展示了具有理解能力的心智实际上是如何从无意识的自然选择过程中产生的。丹尼特解释说，当人类发展出分享模因的能力，或者不基于遗传本能的做事方式时，一个重大转变就发生了。语言本身由模因组成，它加速了这种相互作用：模因之间的竞争（自然选择的一种形式）产生了精心设计的思维工具，这种思维工具又使我们有能力设计自己的模因。结果，一种不仅能够感知和控制，而且能够创造和理解的心智，在很大程度上是由文化进化过程塑造的。
本文摘自该书第15章《后智能设计时代》的《未来我们会怎么样》一节，澎湃新闻经湛庐文化授权发布。
人工制品已经存在，并且还有更多的人工制品正在研发中。它们的能力远超人类，以至于将篡夺人类作为专家所具有的权威，而自人工智能时代开启以来，这种权威一直都是毋庸置疑的。当我们将支配权交给这些人工制品时，我们一定有充分的实际理由和道德理由。如今，在跨大西洋帆船巡游时，如果不给帆船装上GPS定位系统，就是对乘客安全不负责的犯罪行为。就像磨尖镰刀或驱赶牛群一样，依靠六分仪、指南针、天文钟和航海年鉴变成了过时能力的残余。那些喜欢这些技能的人能够通过互联网找到彼此，再次尽情享受其中的乐趣。我们的天文导航员可以慎重地拿出他们的古老装备，并使用它们进行练习，以备不时之需。但是我们没有权利回避现有的高科技设备，而不顾及生命安全。
我们依然会学习乘法口诀表，以及如何将其用在更大的数的计算上。我们能够用纸和笔处理长除法问题，但很少有人能够进行求平方根的运算。那又如何？不要将你的精力和脑细胞浪费在仅靠输入几个单词，或者通过询问谷歌、Siri就能得到答案的问题上。对担忧者的标准回应是，当教育我们的孩子时，我们确实需要向他们传授我们仍然擅长使用的所有方法的原理，而为了使他们对方法有所理解，进行最基本的实操训练是很有价值的，但我们或许可以不必让孩子经历老式的繁重练习就让他们理解其中的原理。这看起来是合理的，但我们能将这个结论扩展到多大的范围呢？
以医学教育为例。沃森仅仅是在其领域中超越了人类专家水平的众多计算机系统中的一个。你是否愿意你最喜欢的医生按照自己的意愿，做一个老式的、基于对症状的直觉给出诊断的医生，而非依赖已被证明在发现罕见的、低可见度诊断方面的可靠性是任何专家的一百倍的计算机系统？你的健康保险顾问会要求你进行计算机的检查，而尽职的医生会发现自己必须克制成为诊断上的英雄的渴望，而将诊断的权威交给他们按下按钮的机器。这对如何培训医生意味着什么？这是否会鼓励我们放弃大量传统的医疗教育，例如解剖学、生理学和生物化学，以及长除法和阅读地图的能力？用进废退是常被引用的法则，可以从很多例子中得到体现。你的孩子还能够像你一样轻易地看懂地图吗？还是他们会依赖GPS的指引？当我们由于对智能机器的依赖加重而变得更蠢时，我们应该有多担心？
目前，能够提升我们的“边缘”智能（观察、算法计算和记忆）的机器，与至少声称会取代我们的理解力（包括想象力）、规划和决策能力的“核心”智能的机器之间有着清晰的边线。手持计算器，GPS系统，皮克斯的用于在帧之间插入图像、添加阴影、调整纹理的图像系统，以及遗传学中的PCR和CRISPR都属于前者，尽管它们能够完成之前需要专业技术才能完成的任务。我们预测两者之间的边界线会变窄，认知任务会越来越常规化，但还好的是，只要我们确认边界线依然存在就没问题。在我看来，真正的危险不在于机器变得过于聪明后会篡夺我们作为命运的掌舵人的身份，而在于我们会高估最新的思考工具的理解力，过早地将远超其能力的控制权交给它们。
即使我们允许核心智能和边缘智能的边界线变窄，但也有一些通过使其变得对每个人来说都清晰可见的方法来强化这条边界线。一定会有能够越过这条界线的创新性发明，如果依据最近的历史，我们可以预期每一次技术突破都会有过度宣传相伴而来。与此相关的轶事，值得我们花些时间讲述。我们知道，人们总是能快速地对任何给自己留下了深刻印象的聪明事物采取意向立场，并倾向于认为这些事物是有目的的，因为意向立场的默认假设是符合理性的。为了避免人们在与拟人系统互动时轻信它们，应该积极地采取如下步骤：首先，我们应该揭示并嘲笑这类系统中所有毫无根据的拟人化，例如可爱的、越来越像人的声音，以及看似生动实则是事先录制的独白。当你与计算机互动时，你应该知道你正在互动的对象是台计算机。那些故意试图隐藏它们的缺陷和能力边界的系统应该被认为是欺诈性的，它们的创造者应因犯下“创造或使用扮演人类的AI”罪而接受法律的制裁。
其次，我们应该鼓励传统道德中过度谦虚的一面，要求所有广告商必须列出其产品具有的所有已知局限、缺点、未经测试的漏洞，以及其他来源的认知错觉，就像我们要求药品企业在药品广告中，用长长的列表给出所有已知的副作用一样。类似于图灵测试的关于如何更好地展示AI理解边界的竞赛会是个好办法，这会让人们在发现机器的欺诈行为时能产生自豪感，就像人们会自豪于发现了一个骗子一样。谁能找到最快、最可靠的识别这种智能工具的局限的方法？有趣的是，我们给孩子的在面对陌生人时要有礼貌和宽容心的教诲产生了意外影响，那就是孩子们面对大量会说话的智能体（如Siri）时更容易被欺骗。他们必须学会当面对这些新遇到的“助手”时，应该怀有略带攻击性且不礼貌的好奇心。
最后，我们应该希望新的认知假体将继续被设计为寄生性的、工具性的，而不是合作性的。它们的创建者设定的唯一“固有”目标应该是建设性且透明地响应用户的需求。令人担忧的原因之一是，随着学习机器变得更有能力弄清楚我们（它们的用户）可能想要什么，它们可能会被设计得向我们隐藏它们的“有用”推断。拼写检查器会对它所认为的印刷错误进行不必要的自动“更正”，我们已经知道这所带来的挫败感，并且我们中的许多人禁用这些功能，因为它们误解我们意图的能力对于大多数用途来说仍然太高。这只是我们必须处理的第一层一知半解。
目前已有当前研究进展带来的问题需要进一步分析。谷歌用以提升其搜索引擎的程序会自动根据用户输入的字符串确定其用户真正想要搜索的是什么。毫无疑问，这在很多场景下是有用的，但并非总是这样。侯世达在给其学生（该学生那时正是谷歌该项目的参与者）的一封公开信中这样写道：
谷歌一直以来都在试图破坏我每天赖以生存的事物。这让我很忧虑不安。
当我在谷歌搜索中输入某些内容时，我一直希望这些词被善意地当成它字面上的本意。例如，作为一个认真的作家，我总是试图找到更精准地用某种语言进行表述的方法，因此我会很频繁地查询两种表述，以分辨哪一种出现的频率更高，这对我来说是极其重要的一种找到如何措辞的方法。如果谷歌搜索不以字面意思处理我的输入，而是觉得可以将我输入的语词进行替换，我会在得到一个高频出现的语句时被严重误导，这让我很不安。我希望机器是可靠的，而不是总是偏离我要求它做的事。机器中所谓的“智能”有时可能是有益的，但也可以是极其无用甚至有害的。根据我的体验，这段时间被加入技术设备中的人工智能（这里人工指的是“假的”“非正版的”）让我十分厌烦。
因此，我对你的团队所做的事情并不满意，且对此十分不安。
这仅仅是又一个让技术设备变得不那么可靠的尝试。你想要谷歌做X，并且你预期谷歌做的就是X，但实际上谷歌做了Y，因为它认为你预期的是Y。对于我来说，这种试图理解我的心智的尝试即使不是危险的，也是很恼人的，因为这几乎从来没有正确过，甚至不在正确的范围内。我想要机器可以保持可靠的机械性，这样我就可以确切地知道自己正在处理的是什么。我不希望它们试图在智力上超越我，因为它们最终所做的不过是误导我和迷惑我。这是很基础的要求，却完全被谷歌（至少是你的工作组）忽略了，我认为这是一个巨大的错误。
至少，上述系统应该在其试图成为读心者而不仅仅是机械时，明确地告知用户，同时允许用户能够关掉不必要的“理解”，就像我能够关掉试图修改一切的拼写检查程序一样。一项关于“严格责任”的法律可能会提供一种急需的设计鼓励：任何使用AI系统做出影响人类生命和福祉的决策的人，就像其他危险和强大设备的用户一样，都必须接受培训（也许是建立联系），并遵守更高的问责标准，从而使他们相信在与AI系统互动时格外严谨地保有怀疑与探索的态度是符合自身利益的。这将间接鼓励此类系统的设计方，将他们的系统设计得更加透明和谦逊，因为用户会拒绝那些可能带他们走上享乐之路并最终导致他们玩忽职守的系统。
还有另外一条避免我们放弃自己的认知责任的方法。例如“让我们变得更强壮”的技术，一种是推土机式路线（bulldozer route），另一种则是诺德士器械式路线（Nautilus machine route）。前者让你能够完成惊人的任务，但你个人依然身体虚弱；后者则会让你变得更强壮，可以自己做更难的事。
目前大部分提升我们认知能力的软件是推土机式的：从望远镜、显微镜到基因组测序仪，以及深度学习的新产品。是否也有类似于健身器材的软件，可以提升个人的理解能力？事实上，早在1985年，乔治·史密斯（George Smith）和我，以及程序员史蒂夫·巴尼（Steve Barney）和史蒂夫·科恩（Steve Cohen）就在塔夫茨大学共同创立了“课程软件工作室”（Curricular Software Studio），开创该工作室的目的是制造“想象力辅助工具”，即能够扩展并训练学生心智的软件。这些软件会拓宽教学中的瓶颈，让学生能够对诸如群体遗传学、地层学（解释岩石层的地质历史）、统计学与计算机本身的运作这样的复杂现象，想象出清晰、动态且准确的模型。这些系统的目标是创建那些一旦掌握之后就可以被放置在一边的系统，因为此时用户已内化了系统所要传授的原则，并在广泛探索的支持下，达到了更深层的理解。也许，现在需要更大的类似项目，来帮助人们更有创意、更准确地思考他们面临的诸多复杂现象，这样他们就能在面对认知辅助工具时，做一个独立的、有智慧的和有理解力的用户，而不是被动地、无鉴别性地接受任何科技进步带来的成果。
我们已经看到不少创新，这使我们放弃了理解力长久以来作为人类中“创造之王”的地位。未来还会出现更多这样的创新。数个世纪以来，我们一直被费曼的格言“我不能创造的，我也不能理解”所激励着。但近来我们的创造力已经悄悄改变了这一切：我们发现自己可能间接地制造出我们只部分理解的事物，而这些事物又反过来可能制造出我们完全无法理解的事物。
由于其中一些事物具有神奇的力量，我们会怀疑理解力所具有的超群的价值，认为理解力已经过时了，当我们有了诸多能够将我们从辛苦劳作中拯救出来的人工制品后，谁还需要理解力？
对于这样的观点，有一个好的回应吗？如果我们想要论证理解力具有内在价值，不依赖于其提供的种种服务，或者对于我们继续过我们觉得重要的生活来说是必不可少的，我们需要的不仅仅是诉诸传统。像我一样的哲学家可以会对这样的未来感到沮丧。正如苏格拉底的名言：“未经审视的人生是不值得过的。”从苏格拉底开始，我们将获得对万物更深入的理解看成：即使不是我们人生中最高的绝对目标，也是不言自明的最高的职业成就。但另一个哲学家，已故的库尔特·贝尔（Kurt Baier）补充道：“过分审视的生活同样不值得大书特书。”大部分人满足于做科技、医学、科研发现及艺术创作的受益者，而不在意这些“魔法”是如何被创造出来的。拥抱“过于文明”的生活，相信我们的人工制品是我们幸福生活的“好管家”，真的如此可怕吗？
我个人无法编造出一个有说服力的、可以说明理解力具有内生价值的论据，尽管我发现理解是一个人生活中最激动人心的事物之一。但我认为，能够给出好的、可以证明出于现实上的原因需要很好地保护并提升人类理解力、以免其受到种种由深度学习系统带来的虚假理解力的影响的证据。人工制品可能会出现故障，而如果几乎没有人对其有足够的理解，以便能修理它或用其他方法完成任务，我们将会发现自己会陷入危险的窘境。很多人已经注意到，对于部分高科技人工制品来说，能够提供维修服务的人越来越少，甚至是不存在的。一个新的彩色打印机或者扫描仪的维修费用，比买一个新的还高。要么维修坏的，要么买一个新的。个人电脑的操作系统也遵循着类似的法则，当你的软件出了问题时，别试图去诊断并解决问题，而应该改变出错的地方，重启之后安装你最爱软件的最新版本。但这样的过程能持续多久？
考虑一个典型的对技术缺乏理解的例子。有一辆平稳行驶的汽车是生活中的一件幸事，它能使你在大部分情况中准时去往你想去的地方，在此过程中，你听着音乐、开着空调，感觉很舒服，同时还有GPS导航为你指路。
在发达国家，我们会认为这一切是理所当然的，是生命中的常态，是一种触手可及的资源。我们假设环境中总会有一辆可用的“车”来规划我们的生活。
但当你的车抛锚后，你的生活计划就被打乱了。除非你是一个受过技术培训的车迷，否则你必须承认你依赖着拖车公司、机械师，以及由汽车经销商组成的网络。然后未来某一刻，你可能会决定换掉那台越来越不稳定的车，并购入一辆新车。生活继续，波澜不惊。
但使这些成为可能的复杂系统，例如高速公路、炼油厂、汽车制造商、保险公司、银行、股票市场呢？我们的文明已经流畅地运行了数千年，但其间也伴随着某些严重的破坏，文明的复杂度和能力不断增长，它会中断吗？
这是有可能的，那时我们应该找谁去寻求帮助？如果当前的文明崩溃了，你无法购买一个新的文明，因此我们最好让当前的文明能够正常运行，并能够对其进行维修。那谁会是可靠的修理者？是银行家、记者、实业家、教授这样的社会中的领导者吗？简而言之，与你预期中的领袖相比，这些人更像是平常的驾驶者，在他们的一亩三分地里领导着自己的那部分向前走，同时对其依赖的整个系统的复杂性熟视无睹。根据经济学家和进化思想家保罗·西布莱特的说法，对于所处系统的乐观性的狭隘之见，并不是应受谴责且需要改进的，而是让人能够继续走下去的支持条件。部分理解并不是可选的。塑造人类生活众多方面的社会大厦依赖于我们短视的自信，即我们相信其结构是完善的，不需要给予太多关注。
西布莱特曾将人类文明比作白蚁的蚁冢，两者都是非自然存在物，都是建构在一层层非凡设计之上的奇观，竖立在其“土壤”上。两者都是创造并塑造了个体进化过程的副产品，两者都包含的造就了其非凡的复杂性、效率及恢复能力的设计创新都不是个体头脑中的创意，而是这些个体在数代时间里无意识地、短视地造就的。但两者之间也有明显的不同。人类的合作与白蚁几乎无意识的合作截然不同，人类的合作是一个精妙且非凡的现象，在自然界中没有先例，有着独一无二的进化历史。正如我们所看到的，这取决于我们在塞拉斯所说的“理由空间”内与他人交往的能力。西布莱特指出，合作取决于信任，而信任是一种几乎隐形的社交黏合剂，既能促成伟大，也能促成可怕的计划，而这种信任并不是进化而来的存在于我们大脑中的“自然本能”。信任出现得太晚了，以至于进化来不及发挥作用。信任是社交状态带来的最重要的副产品，也是让这种社交状态成为可能的条件。我们已经将自己拖进了现代文明强烈作用于感官的高地，我们天生的情感和其他本能的反应并不总是能适应我们的新环境。
文明是一个持续开展的过程，如果我们不再尝试理解它，将为我们自己带来风险。人类能够观察并意识到蚁冢所具有的远超白蚁神经系统所能理解的精妙之处与复杂性。对于我们人造的世界，我们也可以试图以超凡的视角来审视它，而这是唯有人类才可以想象的伟业。如果我们没有在此方面取得成功，也许我们是怀抱善意的，但可能会摧毁我们最珍贵的创造。基因和文化这两个领域中的进化，已经创造了让我们足以了解自身的能力。但即使智能设计在数千年的时间里一直在不断发展，但我们依然漂浮在充满困惑和问题的海洋中，其中很多困惑是由我们试图理解的努力造成的，但在我们或我们的子孙能满足我们贪婪的好奇心之前，可能会出现将我们毁灭的危险。
《从细菌到巴赫再回来》，[美]丹尼尔·丹尼特（Daniel C. Dennett）著，冯文婧、郭瑞东译，湛庐文化｜中国纺织出版社有限公司2024年3月。
