Interrompidas há mais de um ano devido à Covid-19, as discussões intergovernamentais sobre a regulamentação de novas tecnologias na área de sistemas de armas autônomas (AWS, na sigla em inglês) e de sistemas de armas autônomas letais (LAWS, na sigla em inglês) foram retomadas em Genebra. Os Estados enfrentam a tarefa fundamental de esclarecer melhor como o Direito Internacional Humanitário (DIH) se aplica: quais limites impõe ao desenvolvimento e ao uso de AWS e, talvez o mais importante, o que exige dos seres humanos no uso da força?

Neste texto, Laura Bruun, do Stockholm International Peace Research Institute (SIPRI), pondera se o DIH fornece orientações suficientemente claras sobre como os seres humanos e as máquinas podem interagir em decisões a respeito do uso da força. Com base nas conclusões de um estudo recente do SIPRI, ela defende a necessidade de esclarecer isso e faz sugestões concretas para que os Estados possam identificar melhor o que é preciso para respeitar o DIH ao desenvolver e usar AWS.

Os sistemas de armas autônomas (AWS) podem transformar radicalmente a maneira como os seres humanos tomam decisões em conflitos armados. De acordo com a maioria das definições, os AWS diferem de outras armas por sua capacidade, uma vez ativados, de selecionar e perseguir alvos sem intervenção humana. Essa capacidade pode apresentar benefícios operacionais e humanitários, mas também pode gerar preocupações jurídicas, éticas e estratégicas que são fundamentais. Embora os benefícios e riscos associados ao uso dos AWS continuem sendo discutíveis, o avanço na autonomia levou a comunidade internacional a considerar uma questão essencial: qual é o papel dos seres humanos no uso da força e até que ponto – e se – decisões de vida ou morte podem ser “delegadas” às máquinas?

Em busca de respostas, os Estados recorrem ao Direito Internacional Humanitário (DIH) como um dos marcos legais aplicáveis. A pesquisa do SIPRI, no entanto, mostra que o DIH existente não fornece orientações suficientemente claras sobre o que é exigido dos seres humanos (e permitido à tecnologia) no uso da força. Portanto, os Estados devem buscar mais esclarecimentos. Uma maneira de fazer isso seria detalhar o que significa respeitar e garantir o respeito ao DIH em quatro dimensões: Quem deve fazer  o quê, quando e onde?

Regular os AWS e a questão da interação homem-máquina

Os desafios jurídicos, éticos e militares apresentados pelos AWS – e como eles devem ser abordados – são objeto de discussão intergovernamental há quase uma década. O debate, iniciado no âmbito da Convenção sobre Certas Armas Convencionais, de 1980, é encabeçado desde 2017 por um grupo de especialistas governamentais (GEG). O GEG é encarregado de adotar recomendações consensuais em relação ao esclarecimento, consideração e desenvolvimento de aspectos do quadro normativo e operacional sobre novas tecnologias na área de LAWS. A questão central é se as regras existentes do DIH estabelecem um quadro regulatório suficientemente claro ou se novas regras, normas ou melhores práticas são necessárias para lidar com as características – e os desafios – peculiares dos AWS.

Embora os Estados continuem tendo opiniões diferentes sobre esse assunto, o GEG chegou a um consenso sobre uma série de questões fundamentais. Em particular, reafirmou que o DIH se aplica aos AWS e concordou que os seres humanos, e não as máquinas, continuam sendo responsáveis pelo desenvolvimento e uso dos AWS. O grupo estabeleceu ainda que é necessária certa qualidade e dimensão de interação homem-máquina (IHM) para garantir que o desenvolvimento e o uso dos AWS respeitem o direito internacional, em particular o DIH. A atenção dada à IHM no GEG reflete o consenso de que a autonomia nos sistemas de armas não pode ser ilimitada e de que o envolvimento humano é necessário.

O nível de envolvimento humano – ou, na linguagem do GEG, o tipo e o grau de IHM – exigido pelo DIH talvez seja a questão mais central deste debate agora. O GEG concorda que não pode haver uma abordagem única para a IHM, pois o tipo e o grau necessários podem variar dependendo da arma e do contexto de uso. Mas a difícil e desconcertante questão que permanece é: como, e com que base, um Estado identificaria qual qualidade e extensão da IHM é necessária numa determinada situação?

Para muitos Estados, uma exploração mais sistemática do DIH pode responder às perguntas sobre como os seres humanos e as máquinas podem interagir legalmente. Para apoiar os Estados nesse exercício, o SIPRI realizou em 2021 um estudo de mapeamento, ‘Sistemas de armas autônomas e Direito Internacional Humanitário’ (em inglês), que identificou questões-chave que precisariam ser abordadas para esclarecer que tipo e grau de IHM seriam necessários para garantir o cumprimento do DIH. A seção seguinte descreve algumas das principais conclusões desse exercício.

O que o DIH diz – e não diz – sobre o papel humano no uso da força

O DIH tem como principal objetivo limitar os efeitos dos conflitos armados, estabelecendo regras, restrições e proibições destinadas a proteger a população civil do uso da força e a poupar combatentes de ferimentos e sofrimentos desnecessários. Essas regras se aplicam a todas as armas, incluindo os AWS.

No entanto, embora seja claro sobre quais efeitos são ilegais, o DIH é menos claro sobre como efeitos legais podem ser produzidos. Essa falta de clareza veio à tona com a autonomia. Os AWS levantam a questão de saber se, e em que medida, as obrigações do DIH – especialmente aquelas exigidas pelos princípios de distinção, proporcionalidade e precauções no ataque – podem ser implementadas por meio de processos de máquinas. O estudo do SIPRI concluiu que as regras existentes do DIH não dão uma resposta clara a essa pergunta. Também constatou que, como resultado, os Estados chegam a conclusões diferentes em sua interpretação das regras. Alguns argumentam que, desde que os efeitos sejam legais, não há problema (juridicamente) em delegar tarefas às máquinas. Outros argumentam que, para cumprir o DIH, todo o processo de aplicação da força exige – e precisa refletir – a ação humana.

Consequentemente, existe o risco de que os Estados cheguem a conclusões muito diferentes sobre o tipo e o grau de IHM necessários para respeitar o DIH em determinada situação. Mais esclarecimentos sobre o DIH podem, portanto, ser necessários.

Quem, o quê, quando e onde?

A autonomia nos sistemas de armas não substitui a tomada de decisão humana. Em vez disso, ela transforma a maneira como os seres humanos tomam decisões na guerra. É provável que o processo de tomada de decisão em relação aos AWS inclua um número maior de pessoas, e pode haver uma maior distância, tanto temporal quanto espacial, entre quem toma a decisão e a aplicação da força. Essa transformação representa novos desafios para a aplicação do DIH, gerando dúvidas sobre com que antecedência, em relação a quantas pessoas e a que distância do lugar de aplicação de força as obrigações do DIH podem ser exercidas.

A fim de esclarecer tais questões, seria útil que o GEG aborde como a autonomia afeta o exercício das obrigações do DIH em pelo menos quatro dimensões. A primeira dimensão diz respeito a quem (e quantas pessoas) pode ser responsável pelo respeito ao DIH. A segunda dimensão diz respeito a qual o tipo e grau de IHM que as regras do DIH exigem, permitem ou proíbem. A terceira e a quarta dimensões referem-se a quando e em relação a quais lugares as disposições do DIH precisam ser respeitadas.

Abordar quem deve fazer o quê, quando e onde no desenvolvimento e no uso dos AWS será essencial para esclarecer que tipo e grau de IHM poderia justificar o respeito ao DIH numa determinada situação. Embora cada dimensão mereça ser analisada separadamente, considerá-las em conjunto possibilita identificar os limites. Por exemplo, como as características do ambiente operacional afetam a antecedência com que uma avaliação de proporcionalidade pode ser feita e quem precisa estar envolvido no exercício das avaliações de DIH? Exercícios de cenários podem ser uma maneira útil de explorar essas dimensões e sua interdependência. Usando diferentes cenários, intensificando e suavizando as distintas dimensões, os Estados poderão identificar melhor onde traçar as linhas em termos de quais tarefas podem ser delegadas às máquinas e quais devem permanecer com os seres humanos.

Esclarecer o papel humano no uso da força

Após anos de discussões sobre a governança dos AWS, o GEG está em uma encruzilhada. O grupo se aproxima da Sexta Conferência de Revisão da CCAC, que será realizada em dezembro e é considerada um momento crítico para que a comunidade internacional responda aos desafios criados pelo aumento da autonomia nos sistemas de armas. Mais esclarecimentos sobre o que a conformidade com o DIH exige dos seres humanos – e permite às máquinas – são essenciais para determinar se é preciso uma nova regulamentação e de que forma. Isso é particularmente necessário se o GEG, conforme indicado nas últimas sessões, buscar proibir alguns tipos de AWS e limitar o uso de outros. Discussões estruturadas e mais profundas sobre as quatro dimensões deste quadro ajudarão os Estados a identificar as zonas vermelhas e as zonas verdes no mapa do DIH; quais tipos devem ser proibidos e quais tipos devem ser regulamentados.

Os esforços para esclarecer o que o DIH diz sobre o papel humano no uso da força também são relevantes além do caso dos AWS. Os desenvolvimentos tecnológicos em outras áreas, incluindo os avanços na inteligência artificial, apresentam questões semelhantes sobre a ação humana e a tomada de decisões. Portanto, está na hora de que a comunidade internacional considere não apenas o que a lei já diz, ou não diz, sobre o papel humano no uso da força, mas o que deveria dizer – independentemente da tecnologia usada.

Veja também

• Frank Sauer, Autonomy in weapons systems: playing catch up with technology, 29 de setembro de 2021
• Neil C. Renic, Autonomous Weapons Systems: When is the right time to regulate?, 26 de setembro de 2019
• CICV, Neil Davison, Autonomous weapon systems: An ethical basis for human control? 3 de abril de 2018