人工智能（AI）发展速度日新月异，促使科技行业内部发出警告：相关发展可能正在超出我们理解和控制其风险的能力。而利害关系最重大的地方莫过于武装冲突。随着各国军队日益探索将人工智能融入武器和军事决策过程，人们很容易将技术上能够实现的事情误认为必然会发生：如果能够构建出一套系统，随之而来的假设就是这套系统最终一定会被部署使用。但历史已表明事实并非如此。各国过去曾就对哪些战争技术予以禁止、限制或避免使用作出选择——而如今各国再次面临这样的选择。

在这篇博文中，红十字国际委员会国际法、运动与伙伴关系部主任科尔杜拉·德勒格指出，关于应对人工智能风险必要性的抽象辩论，不应分散各国注意力，使其忽视一项各国当前就能够完成的具体任务：为自主武器系统（包括融入人工智能的自主武器系统在内）制定具有法律约束力的规则。结合在武装冲突不可预测的条件下部署复杂技术的实际情况，她解释了为什么仅靠技术保障措施无法解决武器在没有人类干预的情况下选择目标和使用武力所引发的人道、法律和伦理关切。在11月举行的《特定常规武器公约》第七次审议大会召开之前，她呼吁各国在仍有时间决定机器和算法在战争中应发挥何种作用之时，将十多年的工作成果转化为对自主武器系统明确的禁止性和限制性规定。

上个月，美国各大科技公司首席执行官呼吁在一定程度上放缓人工智能的发展速度。他们不止一次发出明确警告，称科技的发展速度可能超出我们理解其后果并采取适当保障措施的能力。

一周前，即9月5日星期六的凌晨，《特定常规武器公约》框架下致命性自主武器系统政府专家组（CCW GGE on LAWS）在日内瓦结束了最后一期会议，为三年来的工作画下句号。

表面上看，这两件事涉及的问题大不相同：前者关乎人工智能的发展速度，后者关乎武器的国际规则；但二者实则相互关联。当前趋势表明，各方正推动将更复杂的算法融入武器，以提高其自主性。人工智能所带来的风险——尤其是近期讨论中强调的风险，即人工智能的行为可能会超出其部署者的预期——在将其融入能够直接影响民众生死的武器系统中时，或许会带来最严重的后果。

因此，这两件事实际上都指向同一个问题：国际社会是采取有效行动，以防止人工智能可能带来的灾难性伤害后果，还是拖延观望、目睹伤害发生。近期， 在联合国安全理事会9月23日举行的会议上，各方提出了有关“治理”、“框架”和“制定规范”的呼吁。这些呼吁值得欢迎，但如果仅停留在如此笼统的层面，它们对减轻武装冲突中民众的苦难将毫无作用。

红十字国际委员会始终从新型作战技术在武装冲突中造成的人道代价以及国际人道法的角度来审视这些技术。我们思考以下问题：这些技术在战争中可能会如何得到使用（及遭到滥用），它们可能会如何影响平民和战斗员，以及削弱重要的法律保护。

业界的专业见解至关重要。人工智能开发和研究人员在以下方面能够发挥关键作用：识别风险，构建保障措施，如实进行测试，以及明确说明系统能做什么、不能做什么。但指出风险并不等同于决定如何应对风险。

各国肩负着设定明确限制的责任——这不仅是对本国人民的责任，也是对将要承受人工智能赋能武器的扩散和使用以及冲突升级所带来后果的他国人民的责任。不能由一家公司来决定包括国际人道法在内的国际法所准许的范围。当一种新型作战技术创造出世界无法接受的人道风险时，任何安全测试、自愿承诺或企业政策都不能替代国际规则。这一决定应由各国共同、公开作出，且各国应受其约束。在安全理事会会议上，确实有几个国家提出，自主武器是一个值得关切的问题。然而，没有一个国家提及《特定常规武器公约》128个缔约国过去十多年来就此类系统所开展的工作。不过，今年11月，各国将拥有明确的机会，有望将此前的工作成果转化为具有约束力的规则。

技术遇上战场，会发生什么？

战争是人们所能想象的利害关系最重大、危险最深的情境之一。一旦出现差错，后果可能会是悲剧性的。在商业环境中，如果系统产生意料之外的结果，可能会造成不便或经济损失。而在战场上，意料之外的结果可能就意味着平民伤亡，医疗诊所被毁。因此，战争中所使用的武器和其他系统必然属于“安全关键”系统：其性能可能会直接影响民众生死。

160多年来，红十字国际委员会一直在武装冲突中开展工作。我们的同事亲眼目睹了武器和作战方法实际造成的后果，以及其带来的后续影响；他们与栖身于临时避难所的人们交谈，这些人因家园被毁而无法返回。在一场又一场冲突中，我们的同事不断见证着遥远的决策为受影响民众所带来的后果。

这些经验向我们表明，战场的现实情况往往比武器开发者或使用者所描述的更为严峻和不可预测，而预期性能与实际性能之间的差距可能会直接造成人道代价。

在战争中，信息往往是不完整的。平民的行为和移动可能毫无规律，并可能会出现在意想不到的地方。此外，敌方部队还会不断试图通过欺骗和操控手段以获取军事优势。

这些状况几乎无法在测试环境中复现。对任何人类决策者而言，这些状况都难以评估和预见；而对于需要依赖可重复的高质量数据和统计规律来解读其所见情况的人工智能系统而言，这些状况可能更具挑战性。在这种多变的状况下，人工智能赋能武器的性能可能会迅速下降，从而产生不可预测的结果。

正因如此，在对人工智能赋能武器进行考量时，我们不仅关注系统是否具备充分的技术能力，还从更广泛层面上关注在武装冲突的条件下，系统能否以符合国际人道法的方式得到使用。要回答这一问题，军队需要了解训练底层算法所使用的数据，以及这些数据能否反映作战环境。他们应当能够说明，当信息不完整或具有误导性时，系统将如何运行；他们也应当清楚，当系统不可避免地遇到此前从未见过的情况时，会发生什么。

这些听起来都是非常技术性的问题，但它们会产生实际后果，当人工智能被整合到自主武器系统中时尤为如此。在这种系统中，武器能够自行选择目标并对其使用武力，而无需由人类来选择特定人员或物体，或是特定时间或地点。因此，这些问题最终将影响到平民、房屋、学校或医院是否会被击中，以及攻击对象究竟是正在作战的战斗员，还是已经受伤或正在投降的战斗员。

具备能力不等于实际部署

人工智能能够以远超人类的速度处理海量信息并生成输出结果，无论是分析、建议还是预测均是如此。我们认为，这是各方推动人工智能融入军事行动的关键驱动因素。我们同样也理解，速度提升能够为作战行动带来益处；但这不应与人道益处混为一谈。根据我们的经验，以及各国军队数十年来的经验，作战节奏加快会增加误判和出错的风险，从而使平民和己方部队都陷入危险。

速度问题也与达里奥·阿莫代伊（Dario Amodei）的警告相关，他表示“过快推进人工智能研发是鲁莽之举。”继续推进是一种选择；尽管收到如此警告，却仍选择继续推进，无疑是鲁莽之举。

尽管存在一种论调认为，人工智能全面融入战争各个方面（包括武器）不可避免，但各国和军队将以多快的速度在实际冲突中应用人工智能也是一种选择。各国过去曾对新技术在战场上的使用作出选择，而历史记录表明，其后果是双向的。

到第二次世界大战时，化学武器已变得更加复杂和致命。然而，化学武器并未作为作战方法出现在欧洲战场上。法律规则与主观行为约束共同发挥了关键作用，因为当时除美日两国之外，所有主要冲突当事方都已加入1925年《日内瓦议定书》。

然而，空中轰炸则是另一番景象。1923年，一个法学家委员会起草了《海牙空战规则》，力求限制对平民区的轰炸，并禁止针对平民的攻击。这些规则从未作为具有约束力的文书获得通过。到1940年代，战略轰炸行动对城市造成了破坏，其破坏规模正是上述规则曾试图防止的，其破坏方式则“使人不禁要问，〔要求保护平民和民用物体的习惯规则〕是否仍然存在。”

一项技术的存在本身，并不必然决定当前或未来的战争形态，以及它将造成多少苦难。即便在人们还没准备好接受它在战争中应用所带来后果的情况下，这项技术也可以存在。而这其中的关键在于，各国过去曾做好准备，即使承受巨大压力，也愿意采取禁止性和限制性措施并坚守相关规定。

如今，在自主武器的问题上，各国也面临着类似抉择。

自主武器：现在就选择设定明确限制

军事人工智能的某些风险或许可以通过采取相关措施加以缓解，例如：精心设计、提高数据质量、开展严格测试、明确使用场景以及对使用者进行全面培训。但自主武器提出了一个更根本的问题：是否应该将某些决策完全交由机器作出？实质上将事关生死的决策交由机器作出，对受攻击人员而言是一个从根本上使其非人化的过程，而这也同时剥夺了相关责任人员的道德能动性。“使用致命性武力的决策不能交由不透明或自动化的过程作出。”这些关切无法通过优化技术来解决；这是一条我们绝不能跨越的道德红线。因此，国际社会需要就此作出决策，明确何种用途应得到准许。

为解决伦理、法律和更广泛的人道层面的根本关切，我们已发出呼吁，主张制定具有法律约束力的规则，以：

禁止构成最严重威胁的自主武器，即：

  • “不可预测”的自主武器，即其效果无法被充分理解、预测和解释的自主武器。如果人类无法预测武器将如何发挥作用，就无法行使必要的控制，在使用时遵守国际人道法的规定；以及
  • 设计旨在或被用于直接以人类为攻击对象的自主武器，也称为杀伤人员自主武器系统。此时会同时存在法律与伦理关切（如上所述）：表明武装冲突中某一人员状态的各种迹象——例如他们是否正在投降、是否受伤，或者是否直接参加敌对行动——高度依赖具体情境，而且这种状态可能迅速发生变化。判断错误通常会带来悲剧性的后果；以及
  • 对所有其他自主武器施加明确限制。

需要放缓速度的领域

红十字国际委员会并非呼吁停止对人工智能的军事应用展开研究。在军事活动中，人工智能的每种使用情形并非都会带来相同风险。但在某些情况下，放缓部署是一种负责任的选择，以便留出时间，评估现行法律、保障措施和风险，测试系统并理解其局限性。

人工智能赋能的自主武器就是一个明确的例子。如果整合复杂算法以选择和攻击目标的武器被广泛部署，那么设定有意义的国际约束规则就会愈发困难。设定限制的时机就在当下，在战场经验使其必要性变得无可否认之前就采取行动，而不是等到那时才行动。

各国采取行动正当其时

现在，各国面前正有一条设定这些限制的明确路径。致命性自主武器系统政府专家组已完成其授权职责，取得了大量工作成果，包括一份最终报告。该报告确认了在使用武力时必须维持控制和人类判断，并且涉及使用自主武器的决策，其责任不能转移给机器。

现在，必须把这些原则转化为明确、具有约束力的规则，对自主武器系统作出明确的限制。

目前已有70多个国家支持谈判。11月中旬，各国将举行《特定常规武器公约》第七次审议大会。大会每五年才举行一次。各国绝不能错过这一时刻；必须利用会议决定启动谈判，缔结一项对自主武器作出明确禁止性和限制性规定的条约。

否则，就会出现如下风险：关于治理、标准和保障措施的抽象讨论可能制造出采取行动的假象，而事实则并非如此。而且，这些讨论也可能会分散各国的注意力，使其忽视当下就能够作出的具体决定。有关自主武器的风险是明确的。相关工作已经完成，制定具有约束力的国际规则也已具备可行路径：各国必须沿着这条路径采取行动。

关于人工智能的辩论常被描述为一场竞赛：一方是技术发展，另一方则是我们对其进行监管的能力。但还有另一个重要的思考角度，关乎我们选择在何时以及如何在本就属于地球上最危险环境之列的冲突之中使用技术。各国在作出这些选择时必须将身处冲突之中的民众置于首位，因为他们将承受随之而来的后果。

我们仍有时间决定，希望机器和算法在战争中发挥何种作用。

 

延伸阅读