Em menos de um ano, o Chat-GPT se tornou amplamente conhecido, o que reflete os avanços surpreendentes das ferramentas de software alimentadas por inteligência artificial, especialmente dos modelos de inteligência artificial (IA) generativa. Com esse progresso, surgiram muitas previsões de que a IA vai revolucionar a guerra. Nesta fase do desenvolvimento da IA, os parâmetros do que é possível ainda estão sendo explorados, mas a resposta militar à tecnologia de IA é inegável. A nota técnica da China sobre defesa nacional defendeu a teoria da “inteligentização” da guerra, e aproveitar a IA é fundamental para o plano de modernização do ELP.  A diretora da Agência de Segurança Cibernética e Infraestrutura dos EUA, Jen Easterly, alertou que a inteligência artificial pode ser a “arma mais poderosa do nosso tempo”. E, enquanto os sistemas de armas autônomas dominam as discussões sobre os usos militares da IA, menos atenção tem sido dada ao uso da IA em sistemas que servem de base para decisões humanas em conflitos armados.

Neste texto, o assessor militar Ruben Stewart e a assessora jurídica Georgia Hinds, ambos do CICV, tentam analisar criticamente alguns dos benefícios apregoados da IA quando usada como base das decisões de atores armados na guerra. Em particular, são abordadas as áreas de mitigação de danos civis e ritmo, com foco nas implicações para as populações civis durante conflitos armados.

Mesmo antes do entusiasmo recente, você provavelmente já usava a IA de diversas formas e pode até estar lendo este artigo em um aparelho que usa muito dela. Se você desbloqueou seu telefone com uma impressão digital ou seu rosto, se já usou redes sociais, planejou viagens com um aplicativo do telefone ou comprou qualquer coisa pela internet, de pizzas a livros, isso provavelmente envolveu IA. Nós nos acostumamos com a IA e a adotamos, muitas vezes sem saber, em nossa vida cotidiana.

Mas e se esse software de reconhecimento facial fosse usado para identificar uma pessoa que será atacada? E se, em vez de encontrar o voo mais barato para chegar a um destino, um software similar encontrasse aeronaves para um ataque aéreo a um alvo? Ou se, em vez de recomendar a melhor pizzaria ou o táxi livre mais próximo, a máquina recomendasse planos de ataque? Aparentemente, essa realidade é o “próximo lançamento” das empresas que criam plataformas de decisão baseadas em IA para fins de defesa.

Esses tipos de sistemas de apoio à decisão com IA (AI-DSS, na sigla em inglês) são ferramentas computadorizadas que usam software de IA para exibir, sintetizar e/ou analisar dados e, em alguns casos, fazer recomendações – ou até previsões – para auxiliar seres humanos a tomar decisões na guerra.

As vantagens desses sistemas costumam ser mencionadas em termos de maior conhecimento da situação e ciclos de decisão mais rápidos. Essas alegações são analisadas abaixo levando em conta as limitações dos sistemas de IA e dos seres humanos, e no contexto dos processos de planejamento dos conflitos modernos.

Minimizar o risco de danos a civis em conflitos

O surgimento de novas tecnologias de guerra costuma ser acompanhado pela ideia de que elas reduzirão os danos civis (embora isso nem sempre se confirme na prática). No caso do AI-DSS, alegou-se que essas ferramentas poderiam ajudar a melhorar, em certas circunstâncias, a proteção de civis em conflitos. O Direito Internacional Humanitário (DIH) obriga comandantes militares e outros responsáveis por ataques a basear suas decisões em informações de todas as fontes disponíveis no momento relevante. No contexto da guerra urbana, em particular, o CICV recomendou que as informações sobre fatores como a presença de civis e bens de caráter civil incluam repositórios de código aberto, como a internet. Além disso, considerando especificamente a IA e a aprendizagem de máquina, o CICV concluiu que, como as ferramentas de IA-DSS podem facilitar a coleta e análise mais rápida e generalizada desse tipo de informação, elas podem muito bem melhorar as decisões tomadas por seres humanos em conflitos para minimizar os riscos para civis.

No entanto, todo produto do AI-DSS deve ser verificado entre várias fontes para garantir a proteção contra informações tendenciosas ou imprecisas. Embora isso se aplique a qualquer fonte de informação em conflitos, é especialmente importante para o AI-DSS; como o CICV descreveu anteriormente, pode ser muito difícil – ou até impossível – verificar a precisão da informação produzida devido ao funcionamento do sistema e à maneira como os usuários humanos interagem com as máquinas. Esses aspectos são detalhados abaixo.

Limitações do sistema

As notícias recentes sobre os avanços da IA incluíram muitos exemplos de falhas dessa tecnologia, às vezes fatais. Por exemplo, software que não reconhece ou que identifica erroneamente pessoas com cor de pele mais escura ou que recomenda percursos sem levar em conta as condições atualizadas do caminho e fatalidades provocadas por carros autônomos. Embora isso não sirva de desculpa, algumas dessas falhas são explicáveis, por exemplo, porque os dados em que se baseiam são tendenciosos, corrompidos, envenenados ou simplesmente incorretos. Esses sistemas também podem ser facilmente “enganados”; há técnicas para induzir o sistema a classificar dados incorretamente. Por exemplo, técnicas adversárias poderiam ser usadas em conflitos para afetar o código-fonte e fazer com que um sistema identifique ônibus escolares como veículos inimigos, e as consequências seriam devastadoras.

À medida que a IA passa a ser usada para tarefas mais complexas, em especial quando várias camadas de análise (e, possivelmente, decisões e julgamentos) se acumulam, verificar o produto final e a fonte de quaisquer erros que contribuíram para o produto final torna-se quase impossível. Com sistemas cada vez mais complexos, a probabilidade de acumular erros aumenta – uma pequena inadequação na primeira recomendação algorítmica é usada e distorce um segundo processo algorítmico, que é usado em um terceiro, e assim por diante.

Consequentemente, os sistemas de IA muitas vezes têm comportamentos que não podem ser explicados pelo usuário ou pelo desenvolvedor, mesmo após uma extensa análise post facto. Um estudo do famoso modelo de linguagem grande GPT-4 descobriu que sua capacidade de resolver um problema de matemática caiu drástica e inexplicavelmente de 83,6% para apenas 35,2% três meses depois. Comportamentos imprevisíveis também podem surgir por meio da aprendizagem por reforço: as máquinas são muito eficientes em adotar e ocultar comportamentos imprevistos e, às vezes, negativos para enganar ou superar seres humanos, seja mentir para ganhar uma negociação ou pegar atalhos para vencer um jogo de computador.

Desafios para os seres humanos que interagem com a máquina

Os AI-DSS não “tomam” decisões. No entanto, eles influem de modo direto e significativo nas decisões de seres humanos, inclusive devido às tendências e limitações cognitivas das pessoas ao interagir com as máquinas.

Por exemplo, a “parcialidade da automação” tem a ver com a tendência dos seres humanos a não questionar criticamente o produto de um sistema ou procurar informações contraditórias – especialmente em situações em que o tempo é um fator crítico. Isso já foi observado em outros campos, como a saúde, onde a precisão dos diagnósticos feitos por radiologistas experientes foi negativamente influenciada por resultados falsos de IA.

Diagnósticos imprecisos no contexto da saúde podem ser fatais. O excesso de confiança também pode ter consequências letais no conflito armado. Em 2003, o sistema defensivo Patriot, dos EUA, disparou duas vezes contra aeronaves amigas da coalizão porque elas foram erroneamente classificadas como mísseis de ataque. Numa investigação posterior, uma das principais falhas identificadas foi que “os operadores foram treinados para confiar no software do sistema”.

Essas formas de funcionamento, combinadas com essas características da interação homem-máquina, podem aumentar a probabilidade de resultados que divergem da intenção do ser humano que decide. Na guerra, isso pode provocar uma escalada acidental, e, em qualquer caso, aumentará os riscos para civis e pessoas protegidas.

Ritmo

Uma suposta vantagem militar da IA é acelerar o ritmo das decisões tomadas pelo usuário em comparação com seu adversário. A aceleração do ritmo costuma criar riscos adicionais para a população civil, e é por isso que técnicas que diminuem o ritmo, como a “paciência tática”, são empregadas para reduzir as baixas civis. Desacelerar o ritmo das decisões, inclusive nos processos e avaliações que fundamentam cada decisão, permite que tanto o sistema quanto o usuário tenham tempo extra para:

• Ver mais;
• Entender mais; e
• Criar mais opções.

É importante ressaltar que isso se aplica a toda a cadeia de decisões, não apenas ao último “momento da decisão”. Por isso, afirmar que o AI-DSS realmente resultará em mais tempo para a paciência tática – ao acelerar etapas demoradas do caminho para chegar à decisão final de “apertar o gatilho” – pode simplificar demais o processo de identificação de alvos e do uso da força nos conflitos contemporâneos.

O tempo extra possibilita ver mais

O agora infame ataque de drones que matou 10 civis durante a evacuação de Cabul, em 29 de agosto de 2021, foi atribuído pelo comandante do Comando Central ao fato de que “não tivemos o luxo de tempo para elaborar um padrão de vida e fazer uma série de outras coisas”.

A análise de “padrão de vida” é como alguns militares descrevem uma avaliação da presença e densidade de civis e combatentes, seus horários, padrões de movimentação, entre outras coisas, dentro e ao redor de uma área considerada para um ataque. É um método indispensável para reduzir os danos civis. No entanto, a avaliação de um padrão de vida só pode ser feita em tempo real: o tempo que as pessoas civis levam para criar esses padrões. Não é possível acelerar isso.

As tentativas de prever o comportamento futuro com base em tendências históricas não incluem a situação atual. Neste exemplo, uma análise de materiais de inteligência mais antigos, especialmente o vídeo completo de Cabul, não teria refletido as mudanças na situação e no comportamento que ocorreram devido à tomada de poder do Talibã e dos esforços de evacuação.

Como a orientação para prevenir baixas civis explica, “quanto mais esperar e observar, mais você saberá o que está acontecendo e estará melhor preparado para tomar a decisão de empregar meios letais ou não letais”. Ou, nas palavras de Napoleão, “veste-me devagar, pois estou com pressa”: às vezes, fazer as coisas deliberadamente rende os melhores resultados.

O tempo extra possibilita que o usuário entenda mais

Outro motivo para desacelerar o ritmo das decisões é que a compreensão humana, especialmente de uma situação complexa e confusa, leva tempo para se desenvolver, assim como a deliberação sobre as respostas adequadas. Com menos tempo disponível, a capacidade que um ser humano tem de compreender a situação diminuirá. O processo de planejamento militar deve dar tempo para que comandantes e equipes considerem o ambiente operacional, o adversário, as forças amigas e civis, assim como as vantagens e desvantagens das medidas consideradas. O entendimento obtido a partir desse processo não pode ser terceirizado, pois, como explicou o general Dwight D. Eisenhower, “ao preparar uma batalha, sempre percebo que os planos são inúteis, mas o planejamento é indispensável”.

Isso tem implicações quando se trata de seres humanos que vão tomar decisões analisando medidas geradas ou “recomendadas” por um AI-DSS, considerando que o motivo mais citado para justificar o uso desses sistemas é a capacidade de acelerar o ritmo operacional em relação a um oponente. Sem ter empreendido, ou mesmo compreendido plenamente, o processo de desenvolvimento de um plano proposto pelo AI-DSS, é provável que o planejador humano tenha uma compreensão limitada da situação, dos distintos fatores de influência e dos atores envolvidos.  De fato, observou-se que o uso de ferramentas de assistência automatizadas pode reduzir o estado de alerta dos seres humanos e prejudicar a capacidade de preservar a consciência situacional. É necessário analisar como isso afeta o respeito às obrigações impostas pelo DIH; o dever de fazer tudo o que for possível para verificar os alvos indica que é um requisito maximizar o uso dos recursos disponíveis de inteligência, vigilância e reconhecimento para obter a consciência situacional mais abrangente possível de acordo com as circunstâncias.

O tempo extra possibilita que o usuário crie mais opções

Além de permitir que vejam e entendam mais, o tempo extra permite que comandantes elaborem alternativas táticas, como tomar a decisão de não fazer uso da força ou de moderá-lo. O tempo extra possibilita remover, reposicionar e reabastecer outras unidades e plataformas, assim como fazer o planejamento e os preparativos para auxiliar outra operação. Com isso, comandantes terão mais opções, como planos alternativos que possam reduzir ainda mais os danos civis. O tempo extra pode possibilitar medidas mitigadoras adicionais, como a emissão de alertas, e permitir que a população civil adote mecanismos de enfrentamento, como abrigar-se, reabastecer-se de água e alimentos ou evacuar.

Um exemplo de doutrina de planejamento militar explica que “se houver tempo disponível e não houver vantagem em agir mais rapidamente, não há motivo para não dedicar um tempo ao planejamento adequado”. Pois, como recordado no manual sobre proteção de civis da OTAN, “quando há tempo disponível para planejar deliberadamente, discriminar e atacar com precisão uma força ou bem de acordo com os princípios do DIH, as chances de provocar vítimas civis são muito minimizadas”.

Conclusão

“A guerra é caótica, letal e é um empreendimento fundamentalmente humano. É um choque de vontades travado entre pessoas, no meio de pessoas. Toda guerra pretende mudar o comportamento humano, cada lado tenta alterar o comportamento do outro pela força das armas.” As guerras resultam do desacordo humano, são travadas entre grupos de seres humanos, são controladas por seres humanos e são finalizadas por seres humanos que, depois, têm que coexistir. E, o que é ainda mais importante, o sofrimento causado pelo conflito é suportado por seres humanos.

Essa realidade, e o próprio DIH, exige uma abordagem “centrada no ser humano” para o desenvolvimento e uso da IA em conflitos armados, a fim de tentar preservar a humanidade de uma atividade já desumana. Essa abordagem tem pelo menos dois aspectos principais: (1) um foco nos seres humanos que podem ser afetados; e (2) um foco nas obrigações e responsabilidades dos seres humanos que usam ou ordenam o uso da IA.

Ao considerar as pessoas que podem ser afetadas, não basta apenas mitigar os riscos para civis ao usar o AI-DSS para obter vantagem militar; também deve-se criar e usar essas ferramentas especificamente com o objetivo de proteger civis. Entre as possibilidades sugeridas a este respeito estão ferramentas para reconhecer, rastrear e alertar as forças da presença de populações civis, ou para reconhecer emblemas distintivos que indicam a condição de proteção em conflitos armados (ver aqui e aqui).

Para garantir que os seres humanos possam cumprir suas obrigações impostas pelo DIH, o AI-DSS deve embasar, mas não pode substituir o julgamento humano em decisões que representam riscos para a vida e a dignidade das pessoas em conflitos armados. Isso tem sido amplamente reconhecido pelos Estados no contexto dos sistemas de armas autônomas (ver, por exemplo, aqui, aqui e aqui). A responsabilidade de respeitar o DIH cabe aos indivíduos e seus comandantes, não aos computadores. De acordo com o manual sobre direito da guerra do Departamento de Defesa dos EUA, “o direito da guerra não requer armas para fazer determinações legais… São as pessoas que devem respeitar o direito da guerra”. A China enfatizou isso de modo mais geral em suas normas éticas para a nova geração de inteligência artificial, ressaltando que “os seres humanos são as entidades responsáveis em última instância”.

As afirmações de que o AI-DSS resultará necessariamente em maior proteção civil e respeito ao DIH devem ser questionadas criticamente e analisadas em relação a essas considerações, levando em conta o que sabemos sobre as limitações do sistema, a interação homem-máquina e o efeito da aceleração do ritmo das operações.

Veja também:

• Tilman Rodenhäuser, Samit D’Cunha, Foghorns of war: IHL and information operations during armed conflict, 12 de outubro de 2023
• Fiona Terry, Fabien Dany, Harnessing the power of Artificial Intelligence to uncover patterns of violence, 25 de maio de 2023
• Pierrick Devidal, ‘Back to basics’ with a digital twist: humanitarian principles and dilemmas in the digital age, 2 de fevereiro de 2023