尽管许多国家，特别是那些拥有规模庞大、装备精良军队的国家，正在探索在目标决策中使用人工智能的潜力，但迫切需要对与这些系统相关的风险有清晰认知，偏见风险便是其中之一。然而，尽管有关军事人工智能的政策辩论中时常提及对偏见的关切，但关于偏见如何造成伤害以及可以采取哪些措施来予以应对，却鲜少得到深入讨论。对于确保军事人工智能合法使用的相关工作而言，这是一大关键空白。

为帮助弥补这一空白，斯德哥尔摩国际和平研究所的劳拉·布鲁恩和迈尔塔·布剖析了军事人工智能中的偏见所造成的人道与法律影响。她们指出，军事人工智能中的偏见可能以比政策辩论中所描述的更为复杂和隐蔽的方式显现，如果不予以应对，可能会影响对国际人道法的区分原则、比例原则，特别是攻击中的预防措施原则的遵守。

 

人工智能在战争目标决策中的应用已非未来场景。虽然使用人工智能进行目标决策常以提高速度和扩大规模为驱动因素，但速度和规模也加剧了与军事人工智能相关的风险，偏见便是其中之一。

军事人工智能中的偏见是指人工智能系统（通常是无意地）以系统性和不公平的方式偏向于或不利于某些个人或群体的现象。如果军事人工智能系统使用某些年龄、方言、性别或肤色的人群被过度代表或不足代表的数据集进行训练，就可能包含偏见。军事人工智能中的偏见形式多样，但核心关切一致：它增加了造成意外伤害的风险。随着更多国家表现出使用军事人工智能来辅助、支持甚至执行目标决策的兴趣，迫切需要对偏见的风险进行理解并加以应对。

老问题，新维度

偏见在军事环境中并非新问题。纵观历史，军事组织和人员曾因无意识或潜意识中的假设和倾向做出过造成严重人道后果的决策。(见，例如，此处和此处). 然而，在军事决策中使用人工智能加剧了与偏见相关的现有关切。首先，人工智能系统的设计和编程不可避免地反映了社会、开发者和用户的偏见。其次，这些系统速度更快、规模更大且更不透明，这可能放大有害偏见显现的风险。它们的使用加速了产生有缺陷目标建议的可能性，并几乎不给使用者发现和纠正潜在偏见的时间。

参与军事人工智能政策进程的国家日渐提出对偏见的关切(见，如此处、此处和此处)，常常强调性别和种族偏见。尽管如此，各国仅触及了问题的表面：偏见在军事人工智能应用中如何表现为伤害，以及可以具体采取哪些措施来应对，迄今为止在讨论中相对缺失。为支持理解并从而更好地缓解军事人工智能中的偏见，斯德哥尔摩国际和平研究所本周发布了一份报告，探讨其人道与法律影响。该报告以多场专家访谈以及一次汇集政府、行业和民间社会代表的现场研讨会作为参考，其主要发现如下：

人工智能中的偏见可能导致平民和民用物体被误判为威胁——或者甚至被完全忽视

军事人工智能中的偏见可能以比政策辩论中所描述的更为复杂和隐蔽的方式显现。除了性别和种族偏见，军事人工智能系统很可能还包含围绕残疾状况、年龄、社会经济阶层、语言和文化等方面的偏见。若此类偏见得不到纠正，便可能削弱对国际人道法核心原则——区分原则、比例原则，尤其是攻击中的预防措施原则——的遵守。对于军事人工智能中的偏见如何导致有害且可能非法的后果，可归结为两条主要风险路径：

风险路径一：军事人工智能中的偏见可能导致将非威胁误判为威胁

用于目标识别的军事人工智能系统可能由于内置关于敌方特征的偏见性假设而将平民或其他受保护人员和物体误判为威胁。例如，一个人工智能系统可能在编程时基于这一假设：使用预付电话卡是敌方身份的指标，却没有考虑到人口中某些群体（如移民工人）普遍使用预付电话卡的情况。或者，它可能受训将携带武器的男性群体归类为目标，而没有考虑到在某些特定文化中，持有步枪可能意味着狩猎或节庆活动。如果使用人工智能来识别未着军装的战斗员，偏见导致误判的风险尤其高。在这种情况下，目标画像的构建将需要基于对敌对行为、功能和特征的假设，而非依赖军装和敌方标志等明确的视觉线索作为作战身份的指标。

此外，军事人工智能中的偏见也可能导致对民用物体的误判。如果人工智能被用于攻击那些其作为合法目标的地位并非取决于其军事性质，而是取决于具体情况（包括人员在其内部及周边的活动）的军事目标时，情况尤其如此。例如，如果用于识别临时指挥中心的人工智能系统，未在充分反映当地宗教或文化习俗的数据集上进行训练，它可能就会将和平集会误解为敌方活动。

因此有必要做一个区分：对于自主武器系统，由于系统兼具选择和打击目标的功能，其误判会导致直接伤害。对于人工智能决策支持系统，伤害风险是间接的——仅在使用者依据有缺陷的目标建议采取行动时才会显现 （如此处详解）。

风险路径二：军事人工智能中的偏见可能导致完全无法探测到平民和民用物体

军事人工智能中的偏见也可能导致无法探测到目标区域内的平民和民用物体。如果使用人工智能来探测、预测和/或评估攻击地点附近的平民存在，这一风险尤为相关。平民居民并非一个同质化群体：他们在种族、社会经济阶层、文化习俗、语言或残疾状况方面存在差异。然而，如果用于探测平民的人工智能系统训练所用的数据集未能充分反映当地人口的复杂性和多样性，该系统可能无法探测到那些在外观、行动或行为方式上未在数据集中体现的人员或物体。例如，如果轮椅使用者在数据集中代表性不足，用于评估目标区域平民存在的人工智能决策支持系统可能完全无法探测到该群体，因为系统未接受相关训练，最终若未考虑他们的存在，将使他们面临更大的伤害风险。

若未被发现，军事人工智能中的偏见可能导致违反国际人道法的行为

未能考虑军事人工智能中的偏见可能破坏对国际人道法的遵守，特别是区分原则、比例原则和攻击中的预防措施原则。依赖人工智能系统进行目标识别，若军队依赖过于笼统的目标画像，而未采取一切可行措施来核实待攻击目标为军事目标，则可能违反区分原则和攻击中的预防措施原则。同样，在攻击中未能考虑到平民人口的所有组成部分，会增加某些群体遭受更大伤害的风险，可能违反比例原则。这也可能构成违反攻击中的预防措施原则，该原则要求冲突各方在军事行动中经常注意避免伤害平民。可以说，这项义务要求冲突方考虑到整个平民人口的多样性，包括性别、年龄、种族和残疾等方面的差异，以确保所有群体获得平等保护（见此处和此处。

军事人工智能中的偏见可能构成违反国际人道法中禁止不利区别的原则，该原则禁止基于种族、宗教、性别等原因的歧视。然而，虽然该禁令明确适用于处于一方权力控制下的人员待遇，但它是否同样适用于目标选择（据一些评论员称，确实适用）则尚不明确。该禁令可能的适用范围可以指导各国履行其与区分原则、比例原则和攻击中的预防措施原则相关的义务，特别是在使用军事人工智能时。

应对军事人工智能中的偏见可能不仅是“良好实践”，更是一项法律义务

与其追求消除军事人工智能系统中的所有偏见（这几乎是不可能的任务），我们更应该且能够着力缓解其风险。事实上，应对偏见的措施或许不仅是自愿性的“良好实践”问题，而是源于国际人道法最大限度减少平民伤害的积极义务所衍生的法律责任。偏见缓解措施如何转化为军事人工智能系统开发和使用的具体要求和限制，尚待各国与专家共同探讨。然而，其关键要素始终围绕两大主题：代表性数据集和人工控制与判断：

  • 代表性数据集： 底层数据集对作战环境的代表性越强，人工智能系统导致威胁误判或未能发现受保护人员及物体的风险就越低。确保数据集充分反映使用环境，要求军事人工智能系统的开发者在数据收集和处理阶段就考虑其预期用途，并且需要确保收集和标注数据的团队具有多样性。然而，使用更具代表性的数据集的一个主要不利因素是：数据越具有情境特定性，就越需要收集关于当地人口的信息，这就可能扩大监控措施并侵犯隐私权。
  • 人工控制与判断： 偏见不能仅通过技术手段解决；在使用过程中进行人工控制和判断是发现、缓解和预防军事人工智能中有害偏见的关键措施。对于人工智能决策支持系统，使用者需要建立多层验证机制，以确保他们能够发现并纠正有偏见的人工智能输出。同时，对于人工智能赋能的自主武器系统，使用者在系统激活后可能无法验证其输出，因此需要在事先对其行为和作用进行控制和判断。这意味着将其使用限制在偏见造成伤害风险较低的情况下，即不依赖于对人类活动和特征进行评估的情境。例如，一个偏见显现为伤害风险较低的使用场景是：攻击那些可清晰识别且位于无平民区域的军事目标。

偏见缓解应成为相关政策中不可或缺的一环以确保军事人工智能的开发和使用符合国际人道法

军事人工智能中偏见带来的人道风险众多且复杂。如果对偏见是什么及其如何显现缺乏更深入的理解，各国声称的降低风险的愿望将无法实现。事实上，未能应对军事人工智能中的偏见可能构成对国际人道法的违反，特别是关于在军事行动中需经常注意以保护平民的义务。因此，应对军事人工智能中的偏见不应被视为边缘问题——而应成为确立国际人道法对军事人工智能所作限制和要求的核心组成部分。

 

作者注： 本文基于斯德哥尔摩国际和平研究所的新出版物《军事人工智能中的偏见与国际人道法的遵守》。

 

延伸阅读