负责任军事人工智能治理的（不）可能性

2024年，应对军事人工智能治理问题的相关工作势头强劲；然而同年，我们也目睹了武装冲突中使用人工智能决策支持系统的情况日益增加，且愈发显而易见的是，此类系统可能对和平与稳定构成重大挑战。这些发展引发了对当前军事人工智能治理方法的质疑。

在本篇博文中，伦敦玛丽女王大学政治理论教授埃尔克·施瓦茨指出，针对治理的努力因当代人工智能系统在目标选定决策中所固有的若干因素而复杂化，并特别强调了以下三点：（1）建立于迭代和无常性的当前人工智能系统的特性；（2）人工智能领域私营生产商的主导地位以及由此产生的逐利思潮；以及（3）人工智能系统本身，特别是目标选定决策中预测性人工智能系统所暗含的扩张性驱动力量。这些人工智能的现实情况表明其所带来的风险可能比人们通常认为的更为严重。

军事人工智能治理工作势头日增。一些近期倡议活动提供了开展高级别对话和谈判的空间，专为探讨如何应对人工智能在军事领域的使用以及如何规制武器系统向更高自主性转变的问题。例如，“军事领域负责任人工智能”（REAIM）峰会等活动就体现了这一势头，并作为此类会议的成果发布了多份文件，其中包括2023年REAIM《关于负责任地军事使用人工智能和自主技术的政治宣言》以及支持一项行动蓝图的2024年REAIM峰会成果文件。

今年，我们也看到，尽管人工智能系统（包括人工智能决策支持系统）呈现出诸多“风险和低效”问题，但在冲突中的部署和使用仍在不断增加。同时，我们愈发强烈地感受到，这些系统可能并不会像军事人工智能的支持者所常常声称的，有望减少平民受害者、让交战方迅速获胜或实现和平。实际情况恰恰相反。新型人工智能决策支持系统备受推崇的潜在益处（包括“保护平民及民用物体”的可能性）以及使用人工智能可以速战速决这一反复宣称的承诺均未实现。暴力正在激增；儿童的死亡率高得惊人；紧张局势正在加剧而非缓解。

这其中一定存在问题。除非我们更加仔细地审视为何在军事事务中使用人工智能决策支持系统及其他人工智能应用可能带来的风险远超益处，否则政治和政策制定将始终陷于劣势，一方面被动受制于行业的技术成熟度曲线，另一方面又不得不应对一线严峻的现实状况。

换言之，对军事人工智能的推测性预期与冲突中使用人工智能的现实情况之间存在矛盾，而治理工作似乎正在两者的罅隙间开展。

人工智能作为一种技术的无常性

作为一种统计数据处理技术的主流人工智能，和作为其底层逻辑的机器学习，在根本上是迭代性的。就像任何其他商业软件系统一样，人工智能系统需要频繁升级以保持相关性和功能性，在战场这一充满对抗的环境中就更是如此。

例如，一般建议无人机系统需要每6-12周进行升级以维持有效运行。而人工智能系统的复杂性远高于此，因此可能需要更频繁的升级，以适应动态性、对抗性的冲突形势。然而，每次重大升级都有可能影响系统的关键层面，所以持续性的检查和评估是部署军事人工智能系统最低限度的要求。这需要时间，并且需要有意愿优先安排这些时间——而在行动速度至关重要的战争中，时间恰恰是非常稀缺的。此外，还需设立极其严格的伦理审查程序，确保任何未经适当测试和评估的系统不会被投入使用。

与此同时，人工智能领域还正在迅速发展，至少在规模上正在迅速扩张，但人工智能每一次迭代都会带来新的问题。大型语言模型（LLM）便是一个典型案例。大多数“传统”人工智能系统存在系统隐性偏差和人类自动化偏差等众所周知的问题，而大型语言模型则带来了新的问题，如“幻觉”（hallucinations）以及对人工智能系统的极端拟人化。大型语言模型只是人工智能领域的最新创新——许多新的小型和大型变体还可能会不断涌现，每一种变体都有其自身的预期用途，同时伴随着新的问题。向市场投放更多人工智能产品可能产生新问题的速度远远快于使用这种技术解决已有问题的速度。

每一次人工智能的迭代及其后续实施应用都会引发值得伦理考量的新挑战和新问题。仅对最新的人工智能能力做出被动反应无法成为规制人工智能系统或制定适当规范的可行之道。人工智能固有的无常性意味着，只有当这些系统已经投入使用后，我们才能真正识别出某个系统的“红线”究竟应该在哪里。届时，焦点就会变为风险管理，而非责任本身。

利益相关方的既得利益及其态度

军事人工智能市场利润颇丰，近年来吸引了众多非传统国防参与方的加入，而这些参与方开始对该领域施加影响，使其迎合硅谷产业及其产品的逻辑。这一趋势进一步得到了风险投资者的推动，他们发现国防领域市场具有巨大潜力——自2021年以来，已有约1300亿美元的风险投资资金注入了军事技术初创公司。

风险投资者期望从承担的风险中获得高额回报，而这些风险并非微不足道。近90%的初创公司最终都会倒闭，而取得成功的企业通常能实现超高回报。然而，与国防领域的传统投资相比，风险投资的运作逻辑是不同的。其周期更短，对初创公司未来需求、实用性及估值的承诺往往是夸大的。为使风险投资在承担高风险后能够实现预期的高回报，国防领域大体上必须进一步向硅谷的运作模式靠拢。

更快的合同周期、对硅谷盛行的“失败-迭代”精神的推崇、接受变化并押注高风险项目——这些都是使商业人工智能产品获得巨大回报的基石，而这些产品在很大程度上不受监管限制或伦理边界的约束。这种思潮正日益被倡导为国防领域乃至更广泛的军事文化的指导方针。笔者在其他文章中曾更深入地探讨过这一动态以及风险投资利益对美国国防文化所施加的巨大影响。目前，由风险投资资助的军事初创公司在整个国防市场中的占比仍然相对较小，但这些公司正在通过塑造本公司产品日渐不可或缺的市场环境来争取更大的市场份额。为实现这一目标，既得利益参与方有时会采用煽动性叙事，而且这些叙事与旨在促进武力使用时保持克制而非扩大使用武力的既有规范与法律的目标和要义是相冲突的。

风险投资公司投入了大量资金进行游说，并激励前军方和政策人员加入，以帮助形成对军事人工智能系统有利的政策态度。除非我们承认对军事人工智能领域进行投资的不同利益相关方之间存在利益冲突，否则坦率而言，有效治理是不太可能实现的。这是一个典型的政治问题，因为它关乎权力。在更广泛的人工智能治理与责任框架中，这些初创公司及其资助方的思想理念和伦理基础具有重要影响。如果要将责任置于重要位置，就理应对这些因素进行严格审视。

人工智能的逻辑以及我们（人类）与人工智能的关系

人工智能就其技术基础而言具有扩张性，为按照预期正常运行，需要大量相关数据以及不同人工智能系统之间的有效互联。例如，（在理论上）如果所有行人和物体都能配备可与自动驾驶汽车人工智能系统相适配的传感器，则这种汽车就可完美运行。

由此，人工智能在哲学意义上也同样具有扩张性。1988年，哲学家金特·安德斯（Günther Anders）曾有如下论述：“每一台机器都具有扩张性，也就是帝国主义的性质。每台机器都会打造出自己的服务体系——和殖民帝国，而且要求这个殖民帝国随时以机器自身同样的标准来运作……机器对积累的渴求是无止境的。”换言之，人工智能需要更多的人工智能才能实现良好运行。而这会导致一切都将卷入其浪潮之中，直至最终，人类的所有事务都屈从于其逻辑。

同时，人类越是以复杂的方式嵌入到人工智能系统及其多层体系架构中，系统的逻辑就越有可能决定实际的行动方向。俗话说：“如果你手握锤子，你往往就会把每个问题都看作钉子。”换言之，一旦某个系统在任何环境中都充分普及、无处不在，问题就会从“我是否应该使用这个系统”变成“我如何能更广泛地使用这个系统”——这就类似于军事领域所说的任务蠕变。

例如，人工智能决策支持系统就可能具有令人担忧的吸引力。此类系统不仅能够更快速、更大规模地找到潜在目标并对其采取行动，而且还具有“发现”目标的模式，而目标即全球地理区域中被标记为“可疑”并因此或可对其采取行动的作恶分子。当然，这种做法并不陌生；在 2010 年代初期全球反恐战争的背景下，就有通过所谓的“处置矩阵”（Disposition Matrix）来生成目标的做法。这类基于机器学习的预测性人工智能系统在军事组织中引起了日渐浓厚的兴趣。随着跨地域、多领域互联的人工智能决策支持系统的发展，在目标选定过程中将重心更多放在目标发现而非目标识别上，将是人工智能更广泛应用轨迹中高度可能的发展方向。

按照冲突更广义上的逻辑来看，此举将加剧猜疑和敌意，并使关系更加紧张，而非予以缓和。我们当前面临的处境正是全球紧张局势不断扩张和升级。

结论

联合国秘书长安东尼奥·古特雷斯指出，针对自主武器系统采取行动的时机就是现在，“必须不惜一切代价保留人类的能动性”，这完全正确——但要确保实现这一点却面临巨大挑战。而且这一挑战不仅关乎武器系统的完全自主性，还涉及军事目标选定对人工智能决策支持系统日益增长的依赖性。

我赞赏所有旨在汇聚多利益相关方以共同应对这一新技术的倡议。因为如果我们对其放任不顾，它确实将改变我们自身，以及我们彼此之间和与世界的关系。这些讨论是我们迫切需要的，具有至关重要的意义。然而，在风险超过实际益处的情况下，在投资利益相关方的利益与国际社会更广泛目标相悖的情况下，在使用人工智能系统所导致的动态局面与在战争中限制暴力的宗旨和精神背道而驰的情况下，除非具备不依赖人工智能的意愿，否则所谓的“军事领域负责任人工智能”将只能是异想天开。

换句话说，如果人工智能的现实与负责任人工智能的理念无法相容，那么我们就必须更加关注何时以及如何避免在军事行动中使用人工智能系统。

负责任军事人工智能治理的（不）可能性

人工智能作为一种技术的无常性

利益相关方的既得利益及其态度

人工智能的逻辑以及我们（人类）与人工智能的关系

结论

延伸阅读：

对话、尊严与人道对和平的贡献

在大规模冲突中遵守国际人道法：应对亚太地区的局势复杂性

Share on Mastodon