2018强人工智能和超级智能：技术合理性及其批判

4497758

摘要：强人工智能（以下简称强AI：Strong Artificial Intelligence）由美国哲学家约翰塞尔上世纪70年代在其论文《心灵、大脑与程序》中提出，主要是指对人工智能（以下简称AI）持有的这样一种哲学立场：基于心智的计算模型，以通用数字计算机为载体的AI程序可以象人类一样认知和思考，达到或者超过人类智能水平。这种立场与弱人工智能（以下简称弱AI：Weak AI）或应用人工智能相对立，后者认为AI只是帮助人类完成某些任务的工具或助理。随着最近20年来互联网、神经科学、基因工程等技术的飞速发展，强AI从塞尔时代的一种哲学立场逐步向工程实践转变和演进，未来学家甚至设想和描述了强AI的更极端版本：超级智能，这些在IBM、谷歌、Facebook、微软等产业巨头和库兹韦尔、马克拉姆等乐观的技术实践者的双重推动下，藉由大众科学传播的放大作用，渗透到人们的日常生活中构成了对其技术合理性的辩护，但AI本身对人类主体和社会的影响不是价值中立的，它一方面难以吸收和提升人类的创新本质，另一方面其技术合理性带来的后果与其初衷有时相互背离，并在商业行为的推动下，构成对作为文化产物和自我解释的理性人类的单向压制和挑战。　　关键词：强人工智能；人工通用智能；超级智能；技术合理性；批判　　中图文献号：TP18 文献编码：A DOI：10.3969/j.issn.1003-8256.2016.05.004　　1 早期AI及其愿景　　一般认为1956年由美国达特茅斯学院青年数学家约翰麦卡锡（John McCarthy）为主发起的达特茅斯会议标志着AI的正式诞生[1]49，但在这之前的1947年，计算机科学的主要奠基者、英国应用数学家图灵在伦敦发表的一次公开演讲已提及AI，1948年他的一份名为《智能机器》的未出版报告被视为AI的第一份宣言[2]432，1950年提出了判断机器是否具备人类智能的图灵测试[3]56-91。几乎同时控制论学者也提出了类似设想并付诸实践：1948年控制论的主要创始人维纳在其名著《控制论》中指出计算机和大脑都是逻辑机器[4]97，并预见了计算机对社会为善和作恶的双重性[4]21-22。几乎同时，英国控制论学者和神经生理学家格雷沃尔特（Grey Walter）制作了可感知环境和避开障碍的电子龟[5]225，从1951年开始，英国和美国都开发了一些在早期计算机上执行包括弈棋在内的简单程序，尤其亚瑟塞缪尔（Arthur Samuel ）的跳棋程序后来很有影响[2]436。总之，随着控制论的传播和通用数字计算机的发明，1956年之前对计算机可在社会中代替人类完成某些智能任务的愿景已经得到广泛讨论并有了不少共识，维纳、冯诺依曼、图灵、信息论的创始人香农等都参与其中[4]11-22。　　在达特茅斯会议前后，现代意义上的计算机程序设计尚未成为专业，IBM在1957年才开发了第一种广泛应用的程序设计语言FORTRAN，Programming（编程）这个术语迟至20世纪60年代中期后才开始广泛使用[6]。因此早期AI时代对于AI、计算机程序基本不做区分，例如麦卡锡本人在晚年始终认为AI主要就是智能的计算机程序[7]，这样在编史学上就重复了一种辉格式的进步观点，即把计算机编程实现智能任务作为AI的起点，这样把达特茅斯会议作为AI的起点有着十分充足的理由：　　（1）第一次明确提出了人工智能（Artificial Intelligence）的命名；　　（2）明确提出了AI的愿景：研究旨在这样的猜想基础上进行：智能的学习或其他任何特征的所有方面原则上可被精确描述，以致可被机器模拟。将试图发现如何使机器使用语言、形成抽象和概念、求解目前专由人类智能解决的各种问题并予以改进[8]，这个任务比图灵、维纳等人的设想更为具体；　　（3）第一次验证了用计算机完成人类级别智能解决抽象任务的能力：即逻辑理论家（Logical Theorist）程序对现代著名数理逻辑学者罗素和怀特海合著的《数学原理》中命题逻辑部分的若干定理进行了证明[9]109-133；　　（4）之后20年内主要的AI进展均由会议主要参会人员及其学生完成，从而形成了早期AI科学家共同体的核心[1]49。　　从二战前后AI的孕育，一直到达特茅斯会议之后的10余年时间里，总体上来看对AI的技术研究和应用前景持有一种乐观、正面的情绪，例如维纳不仅把人类在理论上设想为控制论意义上的自动机器[10]43，而且形而上学地把人类这样的有机体视为一种形式的消息：躯体的个体性与其说是一种石头性质的个体性，不如说是一种火焰性质的个体性；是形式的个体性，而不是带着实体的个体性。这种形式可以传送，可以改变[10]80，这也启示可以通过对消息符号的处理来实现人类躯体及其智能。　　这些观点中被引用最多的无疑是1975年图灵奖得主赫尔伯特西蒙和艾伦纽厄尔在1956年发表于《运筹学研究》中的一篇文章，在该文中他们做出了10年内AI成就的预言：数字计算机成为世界象棋冠军、发现和证明重要的新数学定理、定量和形式化地描述大多数心理学理论[11]90。　　2 AI冬天、弱AI与强AI、应用AI　　在达特茅斯会议10年之后， 由于AI方面的实际技术进展与当初所描绘的愿景相差甚远，受到了内部和外部的严厉批评，首先是美国哲学家休伯特德雷福斯受当时主要的AI研究机构兰德公司邀请为AI提供哲学方面的建议，但其结论却是通过其1965年底出版的报告《炼金术与人工智能》，对AI给出了相当尖锐的否定性结论[12]，几乎同时，1966年由美国国防部、国家科学基金会、中央情报局主导，委托ALPAC（Automatic Language Processing Advisory Committee：自动语言处理顾问委员会）对机器翻译进展进行调查后发布的报告：《语言与机器：翻译和语言学中的计算机》，给出机器自动翻译过于昂贵且短期内难以达到人类翻译水平的结论[12]。1973年英国科学研究理事会委托剑桥大学物理学家James LightHill爵士提交了一份关于英国AI研究状况的独立报告，该报告建议放弃对机器人和语言处理的资助，并取消了对爱丁堡、苏塞克斯、埃塞克斯三所大学之外的其他英国大学AI研究的支持[12]。在60年代末70年代初，美国国防部高级研究计划局（DARPA）也先后暂停或大幅度减少了对AI的资助，而该机构从达特茅斯会议以来一直是AI最主要的推动者[12]。这样在大西洋两岸的AI研究，从70年代初开始进入低谷，即所谓的AI冬天[1]203。　在这段AI的冬天期里，包括德雷福斯在内的不少哲学家从外部对AI的长期愿景和现实目标进行了深入思考，其中美国心灵哲学家约翰塞尔所提出的强AI和弱AI的观点有较大影响，前者对应AI长期愿景，即恰当编程的计算机与人类心灵等价，而后者只是从事认知科学或心灵研究中的辅助工具[13]417-424，显然强AI是早期人工智能乐观预测的功能主义表达[14]20。　　新西兰哲学家、坎特伯雷大学教授杰克科普兰德则提出了强AI、认知模拟（Cognitive Simulation）、应用AI（Applied AI）的分类，其中认知模拟相当于塞尔的弱AI，但应用AI则主要是指各种可以商用化的智能系统，例如人脸识别系统等，这也是目前AI研究的主流[15]。　　3 AI冬天后的人工通用智能与人类级别智能　　20世纪80年代初知识库和专家系统的兴起、联结主义纲领的复兴、日本开发第五代计算机等事件，标志着AI的第一次冬天结束，风险投资涌入知识库和专家系统的开发和商业化，大中型企业部署专家系统提升管理效率，AI产业呈现出繁荣景象，但这种繁荣没有持续多久，很快就随着用于专家系统的LISP商用机产业的崩盘就结束，迎来了AI历史上的第二次冬天[1]52，这场冬天一直持续到90年代初，随着互联网的兴起才慢慢回暖。　　在AI短短数十年历史中由于过高的技术预测与实际成果的差距，以及由于科研经费、商业投资的大幅度波动， 以及来自德雷福斯、塞尔等知名哲学家的各种批评，使得80年代以来AI科学家共同体的主要成员，认识到了AI的愿景在短期之内实现的巨大困难， 从而采取了比早期AI的乐观情绪更加谨慎和理性的态度。　　例如著名AI科学家马文眀斯基（1969年图灵奖获得者，达特茅斯会议主要参与者）在论及人类是否能建造智能机器的问题时表示我们还需很长时间才能学会足以使机器象人一样聪明的常识推理但目前可以确定的是：那种对于任何声称今天就掌握了人类和可能的机器之间差别的主张是有问题的因为我们当前对人类或者可能的机器的了解完全不够。[16]　　达特茅斯会议发起人约翰麦卡锡（1971年图灵奖获得者）在2007年指出：人类级别的AI将会实现，但几乎肯定需要新的思想，因此不能可靠地预测其具体时间可能5年，也可能500年。我倾向于打赌在21世纪实现。[17]　　但是AI共同体中多年来始终有少部分学者或工程师在追求早期AI提出的宏伟目标，为了与主流的弱AI或者应用AI相区别，他们用了一个新名字：人工通用智能（Artificial General Intelligence），并指出：尽管这是AI的初始目标，但AI研究的主流业已转向依赖具体领域和求解具体问题的方案，因此有必要用一个新名字来指出研究仍然追求宏大的AI之梦，这类研究的类似标签包括强AI、人类级别智能（Human-level AI）等。[18]他们在主流AI学术共同体（例如美国人工智能学会、美国计算机学会、电气与电子工程师学会）等之外，成立了非盈利组织AGI学会（AGI Society），自2008年以来组织了8届年会，开设AGI暑期学院，出版AGI杂志和书籍，积极宣传和推动AGI的研究和AGI系统的设计[19]。　　除AGI学会这样的非主流团队之外，在国外还有若干非传统机构积极推动强AI的观念传播和商业行动，其中比较知名的有：奇点大学（Singularity University）、机器智能研究院（MIRI： Machine Intelligence Research Institute）、Numenta公司、艾伦人工智能学院，这些机构的共同目标是在未来较短时间内实现人类级别的通用智能，从而和目前AI研究的主流区别开来。例如MIRI定位于研究智能行为的数学基础，其使命是开发通用AI系统的分析和设计的形式化工具[20]。Numenta的基本目标和MIRI一致，但其研究路径却是基于脑科学的成果[21]。　　库兹韦尔和杰夫霍金斯对于强AI的研究进路与传统AI强调的知识/逻辑、联结主义等都有所不同，他们具有类似的脑神经科学理论来源，即主要基于人类大脑的新皮质（区别于其他哺乳动物）及其强大的模式识别能力来提出各自不同的技术实现方案，例如霍金斯认为大脑是模式机器，智能的本质是记忆和预测。而库兹韦尔采用最近瑞士神经科学家亨利马克拉姆的观点：神经元的集合才是学习的基本单元。总之，这两位知名的强AI鼓吹者都力图把新的技术路径建立在对人类大脑结构的最新认识之上。　　4 从深度学习、人类大脑计划到超级智能　　2006年以来，深度学习作为人工智能中的机器学习的一门分支，由于其在传统AI难以有效解决的语音识别、图像识别乃至自然语言处理方面的取得了较大进展，例如微软亚洲研究院运用深度神经网络（DNN）开发的商用全自动同声传译系统[22]、Yann LeCun及其团队在2012年运用卷积神经网络在ImageNet图像识别大赛中取得最好成绩[23]，加上谷歌、Facebook、百度等产业巨头对深度学习的巨大商业投入，他们招募机器学习领域的主要科学家Geoffrey Hinton（谷歌）[24]、Yann LeCun（Facebook）[25]、Andrew Ng（百度）[26]，建立AI实验室或启动AI大型项目，同时在商业和技术媒体的宣传推动下，近几年来深度学习炙手可热，与上世纪80年代初专家系统、日本第五代机开发计划类似，被学术界和大众视为实现AI长期愿景的主要途径[27]。　　就深度学习本身而言，其主要创立者认为属于人工神经网络（ANN：Artificial Neural Network）的第三阶段（前两阶段为控制论阶段、联结主义阶段）[28]，ANN可以视为联结主义传统或者AI中的生物学范式的主流，但一般认为这不是实现AI的唯一路径[28]。而且虽然深度学习相比传统的浅层学习而言，在特征的自动抽取方面节省甚至无需人工介入，具备和人类认知类似的逐层抽象表征能力等优点，但同样也面临着实现强AI愿景的理论、建模和工程方面的重大挑战，深度学习表面上与人类大脑新皮层具有结构上的类似性，尤其在计算机视觉方面取得很大成功的情况下似乎更有说服力，但显然这种生物学隐喻或进路的优势在Michael Jordan[29]、Yann LeCun[30]等主要创立者的核心学术共同体中也未得到认同，他们本质上仍坚守传统的弱AI或应用AI立场，对库兹韦尔的强AI设想持强烈的反对态度 [28][29]。　但是，2013年以来美国和欧盟在认知科学和脑科学领域启动的人类大脑计划（HBP：Human Brain Project），却对计算机界的AI主流传统提出了某种挑战，他们获得政府机构的巨额经费支持，以大科学协作的方式开展研究，提出的目标宏大而有经济、政治方面的吸引力，使得一部分AI学者、大型商业机构（如IBM）均参与其中，其影响远超AGI和强AI提倡者的非政府组织。　　美国的HBP于2013年由国立卫生研究院（NIH）牵头发起，即尖端创新神经技术脑研究（BRAIN：Brain Research through Advancing Innovative Neurotechnologies），其长期计划是从2016年起10年内拨款45亿美元，目标是绘制脑回路图谱，研究脑内回路机制，并为此研发观察、记录和成像神经回路活动的新技术，其时间表相对欧盟的HBP而言更为现实：10年内完成果蝇脑的成像，15年做到对小鼠脑的成像，在完成上述任务基础上再向灵长类动物迈进，而且也没有就此做出时间上的承诺[31] 。　　相比较而言引起巨大争议的欧盟HBP，在瑞士科学家亨利马克拉姆（Henry Markram）领导下一开始就设定了宏大目标：数据方面生成绘制人类大脑图谱和建立脑模型的数据、理论方面发现大脑信息处理的数学原理、研究平台方面提供基于新的信息和通讯技术（ICT：Information and Communication Technology）的平台为各个领域科学家服务、应用方面基于新型ICT平台开发应用程序为基础神经科学、药物学和计算科学提供服务，其申请的研究经费为10年内分三个阶段投入11.9亿欧元 [32]。　　以美国和欧盟为首，日本、加拿大、中国等国积极参与的这场人类大脑研究浪潮，给计算机和AI带来了重大影响，一些科学家认为HBP研究中的类脑计算（Brain-like）进路将是从弱AI到强AI的主要进路 [33]，认为类脑智能将是人工智能的终极目标[34]。　　类脑AI或神经拟态计算（Neuromorphic Computing）的目标是基于人类大脑工作原理设计非冯诺依曼传统结构的计算机来实现强AI愿景，相对于传统计算机而言，神经拟态计算应具备人脑的三大特性；低能耗、容错性、无须编程[35]。因此欧盟HBP被视为类脑计算项目，而美国则在BRAIN之外，主要通过DARPA赞助的自适应可塑可伸缩电子神经拟态系统（SyNAPSE：Systems of Neuromorphic Adaptive Plastic Scalable Electronics）项目来实现对类脑计算的探索[36]。在这些获得正式资助的大科学项目之外，技术极客和未来学家如库兹韦尔[37]85-122、霍金斯[38]215-242、雨果德加里斯[39]27-47等通过大众媒体以极其乐观的态度宣传类脑AI的美好愿景。　　在这些来自政府、学术界、产业界乃至媒体的推动下，使得一些来自于非AI领域的学者对强AI愿景可能导致的后果进行了深入思考，从哲学、伦理等方面提出了不同的见解，其中英国牛津大学人类未来研究院的尼克波斯特洛姆（Nick Bostrom）提出的超级智能具有较大影响[40]29-30，他认为超级智能在几乎所有领域远远超过人类，具备远超过强AI的强大能力，从而会给世界带来存在性危险：智能生命灭亡或永久失去未来发展潜能[40]143。　　5 强AI、超级智能及其技术合理性　　技术合理性概念来自于合理性，简单从字面上来看，技术合理性即技术合乎理性，它既是一个规范性概念也是一个评价概念，可以把此处的理性视为工具理性和价值理性的统一。技术合理性问题是对技术这种人类实践活动的反思和评价，其宗旨在于以主体理性自觉的形式来解决技术实践中的种种问题，促进技术实践在价值、目的、手段这三个方面的完善和进步[41]52。　　AI作为一门新兴的技术科学，无论其是否负荷价值或者价值中立，均需要和其他技术科学一样，从其目的、工具、价值三个方面来对其技术合理性进行评价[41]95。而这种评价是反思性的哲学评价，而不是具体的社会、经济和政治评价，其评价结果用于对AI技术的实践的目的、手段和结果进行反思和调整，使其更符合技术创造主体的合理需要。　　如上所述，强AI的提倡者和未来学家，在目的、工具、价值各个方面都对AI的技术合理性进行正面评价，对其目的的社会合意性、客观现实性，技术手段的客观有效性均予以确证，对于AI实践所负载的价值，一般认为是正向的，即使对人类有危害，只要事先加以控制，也能实现正向效果。　　他们也在大众媒体上为AI建构了乐观主义愿景，主要体现在两个方面，首先是认为这类技术能够帮助社会进步和实现社会理想，其次是认为其技术目标在未来数十年或者一百年内会实现，如波斯特洛姆就在其著作中专门引用了AI科学家的预测结果[40]24-25。虽然在科幻作品等大众传播媒介中对强AI的后果有技术悲观主义的描述，而波斯特洛姆的立场偏向于技术控制论，并从哲学上给出了一些对强AI技术如何控制的思辨和设想[40]179。但总体来看，他们即使在强AI的目的和后果上存在一些分歧，对短期内可实现强AI技术目标却具有共识，并认为该技术负荷的主要是正向价值，库兹韦尔、霍金斯等代表人物表现出的主要是一种乐观的技术决定论立场。　　AI科学家共同体主要从技术的社会应用来论证其为人类带来福祉，合乎人类主体的目的和需要，同时在技术文本中一般表现出价值中立的立场，例如美国人工智能学会对AI 的定义兼顾了其工程和科学的维度：对思维、智能行为及它们在机器中实现机制的科学理解[42]，在主流教科书中则更偏重于其工程的维度：对人工物的设计和制作：理性智能体的设计过程着重讨论理性智能体的通用原则以及构造此类智能体所需的组成部分[43]6，对于其手段上的客观有效性和目的的客观现实性，承认其仍然有许多困难，会是一个长期任务，AI仍处在库恩所说的前范式阶段，作为工程的AI有许多小而有用的进步，作为科学的AI却进步缓慢[44]。　总体上来看AI学术界、产业界对其目的的社会合意性进行了积极辩护，例如美国人工智能协会前后两任主席在一篇文章中明确指出强AI或超级智能的悲观论者主要来自计算机科学界之外，超级智能中的智能链式反应模式设想AI系统能递归地设计比自己更智能的版本，导致智能爆炸，这种设想与目前对计算复杂性限制的认识相悖。虽然如此，AI在社会中的应用还是会带来显著效益，但在应用中也需要防范其技术和社会经济风险[45]。在这里，主流学界回避了AI技术是否负荷价值的判断，表明其意图是基于工程技术传统的技术中立论，例如微软亚洲研究院认为类人情感对于AI和机器人并不必要，技术工具大多数具有正面价值，是使用者决定其用途，实现路径应聚焦在可以控制且能促进生产力的方向上[46]。　　基于这种技术工具论的实用主义的立场，学术界和产业界积极推动将AI广泛应用在各个领域，麦肯锡咨询公司预测到2025年，AI会对包括知识工作自动化、物联网、无人交通、3D打印这四个高达50万亿-100万亿美元的市场产生重大影响[47]，而牛津大学的一份研究报告指出在未来10-20年内，47%的工作将会自动化[48]，这说明在实践中人们认可AI负荷正向价值，并产生正面的社会和经济效应。　　6 对强AI和超级智能的技术合理性批判　　到目前为止AI科学家共同体与强AI提倡者、未来学家为我们描述的主要是一个目的上具有社会合意性和客观现实性、技术手段上具有客观有效性（虽然在不同群体中存在有效程度的不同）、价值中立或者主要负荷正向价值的AI技术合理性图景。而且从图灵开始一直到费根鲍曼、约翰麦卡锡这些当代主流的AI科学家，虽然并不持有强AI立场，但也从其专业立场反驳各个方面的攻击，力图捍卫AI的技术合理性，例如约翰麦卡锡曾将对AI的攻击分为4个方面：哲学上概念不一致、AI不道德、数学上来看AI不可能在计算机中实现、AI研究未取得甚至不能取得进步，并分别加以反驳[49]vii。　　但是，无论AI科学家共同体还是强AI提倡者，其对AI的技术合理性都做出了过于乐观甚至误导的判断，具体表现在以下方面：　　首先，AI内部仍然缺乏统一的研究纲领，其在短期内实现类人智能任务的希望并不大，而这些讨论往往发表在共同体内部的学术媒体上，并未在大众中得到广泛传播。例如：1988年美国人文与科学院院刊《代达罗斯》第117卷，1991年国际人工智能联合会的《人工智能》杂志第47卷都是关于AI学术争论的专辑，其中加州大学圣地亚哥分校认知科学系教授David Kirsh的《AI的基础：大问题》一文，指出共同体内部对AI研究核心假设的不同观点而形成各自的技术路径，这些问题包括知识和智能、认知是否具身化和拥有统一的底层结构等[50]，布兰迪斯大学计算机科学教授David L.Waltz则指出AI尚存在认知科学、软件工程、硬件实现三个方面的重大障碍[51]191-212。　　其次，强AI提倡者和未来学家是在传统理性论和实证主义的基础上来理解人本质的规定性，在生物学上几乎取消人作为一个类存在的特殊性，碳基生命因此不再是唯一的智能形式，从而对硅基或其他形式的智能体形式提供了本体论的承诺，对于他们而言，符号、可计算性、形式化的理性知识等构成了人的全部规定性，情感和意志等非理性因素在人之为人的规定性中并不起核心作用，或者至少可以还原成可计算性，表现的是一种计算主义世界观的强主张[52]1。这种用计算、知识、符号来对人的丰富本性的消解性还原解释在实践中早已遇到很多问题，其带来的哲学后果如胡塞尔所说：现代人漫不经心地抹去了那些对于真正的人来说至关重要的问题。只见事实的科学造成了只见事实的人[53]7。　　AI的主流科学家共同体承认人类认知是生物属性和社会属性、先天属性和后天属性相互结合而产生的整合性认知过程，需要从生物学和人类学两个方向来实现脑认知功能，传统AI只是实现了人类的计算认知功能，而记忆认知和交互认知需要新的研究范式[54]。这比强AI和未来学家的立场要更为务实，但是所需要的新范式尚未出现，深度学习也难充其任。科学家接受了哲学人类学对作为文化生物的人的三个属人特征：创造性、自由、对世界开放，但对于形式化的理性如何在复杂、开放环境中实现创造性，却没有找到解决方案。人在本质上是不确定的，人的生活并不遵循一种事先被确定的过程，自然只完成了人的一半，另一半留给人自己去完成。[55]8因此，人是文化的存在、社会的存在、历史的存在和传统的存在[55]245-262，对于这种哲学意义上人类本质的不确定性，传统AI在技术实现中通过常识知识的形式化表达和推理来加以部分处理，但这种脱离开放、复杂的社会环境来实现个体人的进路，一般认为不具有情感和意识[56]，后两者往往体现在交互的社会文化环境个体中。　　由于不同时代的文化背景下人们对世界的知识和价值观不同，因此由人所创造的人，作为一种具体现象，是历史的；[55]，例如古代的前技术时代文化中人作为智慧的人出现，近代或现代的技术时代人作为制作的人、发明的人或者理性的人而出现，而当代以信息和互联网为特征的后工业化社会中，对人的历史规定性尚缺乏统一的描述，如果说有，也是一种语境主义、历史主义的后现代解释，如尼采所说，中世纪和近代工业社会以来代表传统价值观和形而上学的基督教-柏拉图图式业已解体[57]122。人作为一个类的概念，很难寻找一个象强AI那样可以在工程上实现的静态、统一可编码的本质，最多只能寻找一种共性，这种共性就是作为自我创造者的人的创造性核心，这种具有家族相似的共性是在社会和历史中丰富起来的，而强AI以孤立、静态的理性人为其工程上的蓝本，脱离了人类的社会性和其与环境交互作用的丰富性，与真正的人类想象相差甚远。　　第三，作为实证主义土壤中诞生的技术科学集大成者，AI是近代技术理性登峰造极的产物，与基因工程、宇航工程、纳米技术一样属于当代的核心前沿技术，但是AI具有一个与其他技术与众不同的特点：对技术发明者的反身性，如同人们认为认知科学可能会消解认识论一样，AI则有可能消解人类的创造性本质。AI的目标是将人类包括认知能力在内的精神对象化，这个目标的社会合意性存在疑问，按照目前强AI的进路，主要是对高度发达的理性能力予以对象化实现，非理性的因素如情感、意志或社会文化等环境因素只是附属物或者在工程上并不是主要目标，那么这种理性对象化的巨大力量如果反身性地应用于人类自身，导致的正反馈效应可能使对象化的技术理性力量极度膨胀，即人类发现AI的能力很强大，从而刺激其投入更多资源来开发它，这样就产生了波斯特洛姆所说的存在性危险。