教宗方济各：人工智能是一个令人着迷且潜力巨大的工具

尊敬的女士们、先生们！

今天，我向七国集团政府间论坛领导人发表讲话，反思人工智能对人类未来的影响。

“圣经证明上帝赐予了人类他的灵，以便他们可以‘在各样的工作上有智慧，理解和知识’（出埃及记35，31）”。因此，科学和技术是我们人类创造性潜力的非凡产物。

正是通过利用上帝赋予我们的这种创造潜力，人工智能才得以显现。

众所周知，后者是一种极其强大的工具，用于人类行为的许多领域：从医学到工作世界，从文化到传播领域，从教育到政治。现在可以合理地假设，它的使用将越来越多地影响我们的生活方式、我们的社会关系，甚至在未来我们构想我们作为人类的方式。

然而，人工智能的话题常常被认为是矛盾的：一方面，我们对它提供的可能性感到兴奋，另一方面，我们又对它所暗示的后果产生恐惧。在这方面，可以说，我们所有人，即使程度不同，都被两种情绪所交织：当我们想象人工智能能够带来的进步时，我们充满热情，但同时，我们也感到困惑。当我们看到其使用的固有危险时感到害怕。

此外，我们毫不怀疑人工智能的出现代表了一场真正的认知工业革命，它将有助于创建一个以复杂的时代变革为特征的新社会体系。例如，人工智能可以实现知识获取的民主化、科学研究的指数级进步、将繁重的工作委托给机器的可能性；但与此同时，它可能会带来发达国家和发展中国家之间、主导社会阶级和被压迫社会阶级之间更大的不公正，从而使“相遇文化”屈服于“一次性文化”。

这些复杂转变的程度显然与人工智能本身技术的快速发展有关。

正是这种蓬勃的技术进步使人工智能成为一种令人着迷的工具，同时又成为一种可怕的工具，需要进行能够胜任这项任务的反思。

在这个方向上，也许我们可以从观察人工智能首先是一种工具开始。很自然地说，它带来的好处或危害将取决于它的用途。

这当然是正确的，因为自古以来人类制造的每一种工具都是如此。

我们制造工具的能力，其数量和复杂性在生物中是无与伦比的，这说明了技术人类的条件：人类始终通过他们逐渐生产的工具来维持与环境的关系。人类和文明的历史与这些仪器的历史是不可能分开的。有人想把这一切解读为人类的一种缺乏、缺陷，就好像由于这种缺乏，他被迫赋予技术生命。仔细客观地观察，实际上却向我们展示了相反的情况。就我们的生物存在而言，我们生活在一种额外性的条件下；我们对于自身的外部是不平衡的，事实上，我们对外部世界是完全开放的。这就是我们对他人和上帝开放的根源；从这里开始，衍生了我们在文化和美方面的创造潜力，我们的技术能力也源自这里。因此，技术是我们进一步发展的痕迹。

然而，工具的使用并不总是唯一的目的。即使人类内心感到自己有一种通往超越和知识的使命，作为为兄弟姐妹和共同家庭服务的良好工具而生活（见Gaudium et spes，16），但这并不总是发生。事实上，由于其激进的自由，人类经常扭曲其存在的目的，将自己变成自己和地球的敌人。技术工具也有同样的命运。只有当他们为人类服务的使命得到保证时，技术工具才不仅能揭示人类的伟大和独特的尊严，而且还能揭示人类所接受的“培养和维护”人类的使命（见第2代，15）。谈论技术就是谈论人类的意义，从而谈论我们在自由与责任之间的独特条件，也就是说，它意味着谈论道德。

事实上，当我们的祖先磨燧石制作刀具时，他们既用它们来切割皮革制作衣服，也用它们互相残杀。同样的情况也适用于其他更先进的技术，例如太阳上发生的原子聚变产生的能量，它当然可以用来生产清洁和可再生能源，但也可以将我们的星球变成一堆灰烬。

然而，人工智能是一种更加复杂的工具。我几乎可以说它是一种独特的工具。因此，虽然简单工具（例如刀）的使用受到使用它的人的控制，并且其良好使用仅取决于后者，但另一方面，人工智能可以自主适应任务，如果以这种方式设计，它可以做出独立于人类的选择以实现既定目标。

永远值得记住的是，机器可以通过某些形式和这些新手段来产生算法选择。机器所做的是在几种可能性之间进行技术选择，并且基于明确的标准或统计推断。然而，人类不仅有选择的能力，而且他的内心也有能力做出决定。我们可以将决策定义为比选择更具战略性的要素，并且需要进行实际评估。有时，在治理的艰巨任务中，我们经常被要求做出对许多人产生影响的决定。在这方面，人类的反思总是谈到智慧、希腊哲学的实践以及至少部分圣经的智慧。面对似乎能够独立选择的机器天才，我们必须清楚，必须始终由人类做出决定，即使有时在我们的生活中出现戏剧性和紧迫的语气。如果我们剥夺人们决定自己和自己生活的能力，让他们依赖机器的选择，我们就会让人类面临一个绝望的未来。我们需要保证和保护人类在选择人工智能程序的过程中拥有很大的控制空间：人类尊严本身受到威胁。

正是在这个问题上，请允许我坚持认为：在武装冲突这样的戏剧性事件中，迫切需要重新考虑所谓“致命性自主武器”等设备的开发和使用，以禁止其使用，首先从积极而具体地致力于引入更强大、更重要的人类控制。任何机器都不应该选择是否夺去人类的生命。

还应该补充的是，至少是先进形式的人工智能的良好使用，不会完全受到在构想时定义原始目的的用户或程序员的控制。因为在不久的将来，人工智能程序很可能能够直接相互通信，以提高其性能。而且，如果在过去，人类塑造了简单的工具，他们就会看到自己的存在是由它们塑造的——刀让他们能够在寒冷中生存，同时也发展了战争的艺术——现在，人类已经塑造了复杂的工具，他们将看到后者塑造了他们的生活。

我现在想简要关注一下人工智能的复杂性。从本质上讲，人工智能是一种为解决问题而设计的工具，通过代数运算的逻辑链来工作，对数据类别进行比较，以发现相关性，提高其统计价值，这要归功于自我识别能力。学习过程，基于对进一步数据的搜索和计算程序的自我修改。

因此，人工智能是为了解决特定问题而设计的，但对于那些使用它的人来说，从它提出的具体解决方案中得出一般推论（甚至是人类学性质的推论）的诱惑往往是不可抗拒的。

一个很好的例子是使用旨在协助治安法官决定是否对在监狱机构服刑的囚犯实行软禁的方案。在这种情况下，人工智能被要求从预先设定的类别（犯罪类型、监狱中的行为、心理评估等）开始预测被定罪者重复犯罪的概率，从而使人工智能能够访问与囚犯私生活相关的数据类别（种族、教育水平、信用额度等）。使用这种方法——有时实际上存在将一个人的命运的最终决定权委托给机器的风险——可能会隐含地带来对人工智能所使用的数据类别中固有的偏见的参考。

事实上，被归入某个种族群体，或者更通俗地说，几年前犯下轻微违法行为（例如，没有缴纳禁止停车罚款），将影响有关软禁让步的决定。相反，人类总是在进化，并且能够用他的行为来令人惊讶，这是机器无法考虑到的。

还应该指出的是，由于人工智能程序将越来越多地具备与人类（聊天机器人）直接交互、与他们进行对话并建立密切关系的能力，因此与刚才提到的应用程序类似的程序将加速发展，这些人工智能程序将被设计来学习以个性化的方式响应人类的身体和心理需求。

忘记人工智能不是另一个人，它不能提出普遍原则，这往往是一个严重的错误，这种错误要么源于人类寻找稳定的陪伴形式的深刻需要，要么源于他们的潜意识假设，即源于人类的假设。通过计算机制获得的观察结果具有无可争议的确定性和不容置疑的普遍性。

然而，正如对计算本身的内在限制的检查所证明的那样，这种假设是有风险的。人工智能使用代数运算，按照逻辑顺序进行（例如，如果X的值大于Y的值，则将X乘以Y；否则将X除以Y）。这种计算方法，即所谓的“算法”，既不客观，也不中立。事实上，基于代数，它只能检查以数字形式形式化的现实。

此外，不应忘记，旨在解决非常复杂问题的算法是如此复杂，以至于程序员自己很难准确理解他们如何设法实现结果。随着量子计算机的引入，这种复杂化的趋势可能会大大加速，量子计算机不会使用二进制电路（半导体或微芯片）运行，而是根据相当复杂的量子物理定律运行。另一方面，越来越高性能的微芯片的不断推出，已经成为少数拥有人工智能的国家占据主导地位的原因之一。

无论复杂与否，人工智能程序提供的答案的质量最终取决于它们使用的数据以及数据的结构方式。

最后，我想指出最后一个领域，即所谓的生成人工智能机制的复杂性。毫无疑问，今天有一些很棒的工具可以用来获取知识，甚至可以在无数领域进行自学。我们中的许多人都对在线轻松获得的用于撰写任何主题或主题的文本或生成图像的应用程序印象深刻。特别受这种观点吸引的是学生，他们在准备论文时会过度使用这一技术。

这些学生往往比老师更有准备、更习惯使用人工智能，但他们忘记了，所谓的生成式人工智能，从严格意义上来说，并不完全是“生成式”。事实上，后者在大数据中搜索信息并按照其要求的风格对其进行打包。它不会发展新的概念或分析。他重复他发现的那些，给它们一个有吸引力的形状。一个概念或假设被重复得越多，它就越被认为是合理和有效的。因此，它不仅仅是“生成”，而且是“强化”，因为它重新排序现有内容，帮助巩固它们，通常不检查它们是否包含错误或先入之见。

这样一来，人们不仅面临着使假新闻合法化、强化主流文化优势的风险，而且还可能破坏处于起步阶段的教育进程。应该为学生提供真实反思可能性的教育有可能沦为观念的重复，而这些观念将越来越被认为是无可争议的，仅仅因为他们不断地重新提出。

现在必须在已经说过的内容中添加更一般性的观察。事实上，我们正在经历的技术创新的季节，伴随着一种特殊的、前所未有的社会形势：在社会生活的重大问题上达成一致越来越容易。即使在具有一定文化连续性的社区中，也经常会出现激烈的辩论和对抗，这使得难以产生旨在寻求美好和正确事物的共同政治反思和解决方案。除了人类大家庭特征的合法愿景的复杂性之外，出现了一个似乎将这些不同实例联合起来的因素。它表现为人类意识的丧失或至少是黯淡，以及人类尊严概念的明显无足轻重。西方的基本范畴之一：人的范畴，其价值和深刻意义似乎正在丧失。因此，在这个人工智能程序质疑人类及其行为的时代，与人类价值和尊严的认知相关的精神的弱点可能会成为实施和开发过程中最大的弱点。这些系统。事实上，我们不能忘记，没有任何创新是中立的。技术的诞生是有目的的，在对人类社会的影响中，总是代表着社会关系中的一种秩序形式和一种权力地位，它使某人能够采取行动，并阻止其他人采取行动。技术力量的这种构成维度总是以或多或少明确的方式包括创造和开发技术的人对世界的愿景。

这也适用于人工智能程序。为了使后者成为建设善良和更美好明天的工具，它们必须始终为每个人的利益服务。他们必须有道德灵感。

事实上，道德决策不仅考虑行动的结果，还考虑所涉及的价值观以及源自这些价值观的义务。这就是为什么我欢迎 2020 年在罗马签署《罗马人工智能伦理呼吁》，并欢迎它对算法和人工智能程序的道德调节形式的支持，我称之为“算法伦理”。在多元化和全球性的背景下，价值观尺度也呈现出不同的敏感性和多元化的层次结构，似乎很难找到单一的价值观层次结构。但在伦理分析中，我们也可以使用其他类型的工具：如果我们努力定义一套全球价值观，那么我们可以找到共同的原则来面对和解决生活中的任何困境或冲突。

因此，罗马呼吁诞生了：“算法伦理”一词凝结了一系列原则，这些原则被证明是一个全球性、多元化的平台，能够找到文化、宗教、国际组织和大公司的支持。

因此，我们不能隐藏具体的风险，因为它是其基本机制所固有的，即人工智能将世界的愿景限制于可以用数字表达并包含在预先包装的类别中的现实，排除其他形式的真理和知识的贡献。强加统一的人类学、社会经济和文化模型。那么，人工智能所体现的技术范式就有可能为一种更加危险的范式腾出空间，我已经将其称为“技术官僚范式”。我们不能让人工智能这样强大而不可或缺的工具来强化这种范式，而是必须让人工智能成为阻止其扩张的堡垒。

正如《兄弟会通谕》提醒我们的那样，正是在这一点上迫切需要采取政治行动。当然，“对于今天的许多人来说，政治是一个坏词，不可忽视的是，在这一事实的背后，经常存在一些政客的错误、腐败和低效。”除此之外，还有旨在削弱经济、以经济取代经济或以某种意识形态主导经济的战略。然而，世界能在没有政治的情况下运转吗？如果没有良好的政治，你能找到实现普遍兄弟情谊和社会和平的有效途径吗？”

我们对最后几个问题的回答是：不！需要政治！我想借此机会重申，“面对这么多以眼前利益为目的的琐碎政治形式，当一个人在困难时刻基于伟大原则和对世界长期共同利益的思考而行动时，政治的伟大就会显现出来。” 当今的政治权力发现很难在国家项目中承担这一责任，在当前和未来人类的共同项目中更是如此。”

尊敬的女士们、先生们！

因此，我对人工智能对人类未来影响的反思使我们思考“健康政治”的重要性，以充满希望和信心地展望我们的未来。正如我在其他地方已经说过的那样，“世界社会存在严重的结构性缺陷，不能仅通过偶尔的修补或快速修复来解决。有些事情需要通过根本性的重置和重大转变来改变。只有健全的政策才能引领这一进程，涉及最多样化的部门和最多样化的知识。通过这种方式，一个经济体融入政治、社会、文化和大众项目，朝着共同利益的方向发展，可以“为不同的机会开辟道路，这并不意味着阻止人类的创造力及其进步的梦想，而是引导这种机会，以新的方式获取能量”（Laudato Sì，191）”。

人工智能正是如此。每个人都应该好好利用它，政治也应该创造条件，使这种良好的利用成为可能并取得成果。

谢谢。