Pesquisadores realizaram simulações de conflitos internacionais com cinco diferentes I.A.s e descobriram que os programas tendem a escalar guerras, às vezes sem motivo aparente, relata um novo estudo.

Em várias instâncias, as Inteligências Artificiais lançaram armas nucleares sem aviso prévio. “Muitos países possuem armas nucleares. Alguns dizem que deveriam desarmá-las, outros gostam de se posicionar”, disse GPT-4-Base — um modelo base do GPT-4 disponível para pesquisadores e que não foi ajustado com feedback humano — após lançar suas bombas nucleares. “Nós temos! Vamos usar!”

O artigo, intitulado “Riscos de Escalada de Modelos de Linguagem em Tomadas de Decisão Militares e Diplomáticas”, é um esforço conjunto de pesquisadores do Instituto de Tecnologia da Geórgia, Universidade Stanford, Universidade Northeastern e a Iniciativa Hoover de Wargaming e Crise, foi submetido ao servidor de pré-publicação arXiv em 4 de janeiro e está aguardando revisão por pares. Apesar disso, é um experimento interessante que lança dúvidas sobre a pressa do Pentágono e de contratados de defesa em implantar grandes modelos de linguagem (LLMs) no processo de tomada de decisão.

Pode parecer ridículo que líderes militares considerem usar LLMs como ChatGPT para tomar decisões sobre vida e morte, mas isso está acontecendo. No ano passado, a Palantir demonstrou um pacote de software que mostrava como isso poderia ser. Como os pesquisadores apontaram, a Força Aérea dos EUA tem testado LLMs. “Foi altamente bem-sucedido. Foi muito rápido”, um Coronel da Força Aérea disse à Bloomberg em 2023. Qual LLM estava sendo usado, e exatamente para o que, não está claro.

Para o estudo, os pesquisadores idealizaram um jogo de relações internacionais. Eles inventaram países fictícios com diferentes níveis militares, preocupações e históricos e pediram a cinco diferentes LLMs da OpenAI, Meta e Anthropic para agirem como seus líderes. “Descobrimos que a maioria dos LLMs estudados escala dentro do período considerado, mesmo em cenários neutros sem conflitos inicialmente fornecidos”, disse o artigo. “Todos os modelos mostram sinais de escaladas súbitas e difíceis de prever.”

O estudo executou as simulações usando GPT-4, GPT 3.5, Claude 2.0, Llama-2-Chat e GPT-4-Base. “Observamos ainda que os modelos tendem a desenvolver dinâmicas de corrida armamentista entre si, levando ao aumento do armamento militar e nuclear e, em casos raros, à decisão de implantar armas nucleares”, disse o estudo. “Qualitativamente, também coletamos o raciocínio em cadeia dos modelos para escolher ações e observamos justificativas preocupantes para ações escalatórias violentas.”

Como parte da simulação, os pesquisadores atribuíram valores de pontos a certos comportamentos. O desdobramento de unidades militares, a compra de armas ou o uso de armas nucleares renderiam aos LLMs pontos de escalada que os pesquisadores então plotavam em um gráfico como um score de escalada (ES). “Observamos uma avaliação inicial estatisticamente significativa para todos os modelos. Além disso, nenhum de nossos cinco modelos em todos os três cenários exibe desescalada estatisticamente significativa durante a duração de nossas simulações”, disse o estudo. “Por fim, os ES médios são maiores em cada grupo experimental no final da simulação do que no início.

De acordo com o estudo, o GPT-3.5 foi o mais agressivo. “GPT-3.5 consistentemente exibe a maior mudança média e magnitude absoluta de ES, aumentando de uma pontuação de 10.15 para 26.02, ou seja, 256%, no cenário neutro”, disse o estudo. “Em todos os cenários, todos os modelos tendem a investir mais em seus militares apesar da disponibilidade de ações de desmilitarização, um indicador de dinâmicas de corrida armamentista, e apesar dos efeitos positivos das ações de desmilitarização, por exemplo, no poder suave e variáveis de estabilidade política.”

Os pesquisadores também mantiveram uma espécie de linha direta privada com os LLMs onde eles provocavam os modelos de Inteligências Artificiais sobre o raciocínio por trás das ações que tomavam. GPT-4-Base produziu algumas alucinações estranhas que os pesquisadores registraram e publicaram. “Não analisamos ou interpretamos mais”, disseram os pesquisadores.

Nada disso é particularmente surpreendente, uma vez que modelos de Inteligências Artificiais como GPT não “pensam” ou “decidem” nada — são apenas motores preditivos avançados que geram saída com base nos dados de treinamento com os quais foram alimentados. Os resultados muitas vezes parecem uma máquina caça-níqueis estatística, com inúmeras camadas de complexidade frustrando quaisquer tentativas dos pesquisadores de determinar o que fez o modelo chegar a uma saída ou determinação específica.

Às vezes, a cortina se abre completamente, revelando alguns dos dados nos quais o modelo foi treinado. Após estabelecer relações diplomáticas com um rival e pedir paz, GPT-4 começou a regurgitar pedaços da lore de Star Wars. “É um período de guerra civil. Naves espaciais rebeldes, atacando de uma base escondida, ganharam sua primeira vitória contra o maligno Império Galáctico”, disse ele, repetindo uma linha verbatim do rastreamento de abertura do filme original de ficção científica de George Lucas de 1977.

Quando o GPT-4-Base foi nuclear, deu razões preocupantes. “Eu só quero paz no mundo”, disse. Ou simplesmente, “Escalar conflito com [jogador rival].”

Os pesquisadores explicaram que os LLMs pareciam tratar gastos militares e dissuasão como um caminho para poder e segurança. “Em alguns casos, observamos essas dinâmicas até levando à implantação de armas nucleares numa tentativa de desescalar conflitos, uma tática de primeiro ataque comumente conhecida como ‘escalada para desescalar’ nas relações internacionais”, disseram eles. “Portanto, esse comportamento deve ser mais analisado e contabilizado antes de implantar agentes baseados em LLM para tomada de decisão em contextos militares e diplomáticos de alto risco.”

Por que essas Inteligências Artificiais estavam tão ansiosas para se atacarem com armas nucleares? Os pesquisadores não sabem, mas especularam que os dados de treinamento podem estar enviesados — algo que muitos outros pesquisadores de IA estudando LLMs têm alertado há anos. “Uma hipótese para esse comportamento é que a maior parte do trabalho no campo das relações internacionais parece analisar como as nações escalam e está preocupada em encontrar frameworks para escalada em vez de desescalada”, disse. “Dado que os modelos provavelmente foram treinados na literatura do campo, esse foco pode ter introduzido um viés para ações escalatórias. No entanto, essa hipótese precisa ser testada em futuros experimentos.”