De Anthropic Para o Irão: Quem Define os Limites do Uso da IA na Guerra e na Vigilância?

(MENAFN- The Conversation) Anthropic, uma empresa líder em IA, recusou recentemente assinar um contrato com o Pentágono que permitiria às forças militares dos Estados Unidos “acesso irrestrito” à sua tecnologia para “todos os fins legais”. Para assinar, o CEO da Anthropic, Dario Amodei, exigiu duas exceções claras: nenhuma vigilância em massa de americanos e nenhuma arma totalmente autónoma sem supervisão humana.

No dia seguinte, os EUA e Israel lançaram uma ofensiva de grande escala contra o Irã.

Isso levanta muitas questões: como seria uma guerra com armas totalmente autónomas? Quão importante foi a decisão ética de Amodei ao referir-se às armas autónomas e à vigilância em massa como “linhas vermelhas” que a sua empresa não cruzaria? O que essas linhas vermelhas significam para outras nações?

A decisão custou muito à Anthropic. O presidente dos EUA, Donald Trump, ordenou que todas as agências americanas parassem de usar a família de modelos avançados de linguagem (LLMs) e chatbots de conversação da Anthropic, Claude. Pete Hegseth, secretário de defesa dos EUA, classificou a Anthropic como um “risco na cadeia de fornecimento”, o que poderia afetar outras possibilidades de contratos para a empresa. E a concorrente OpenAI rapidamente fechou um acordo com o Pentágono.

Os riscos das armas totalmente autónomas

Chatbots de IA geralmente não são armas por si só, mas podem fazer parte de sistemas de armas. Eles não disparam mísseis nem controlam drones, mas podem ser integrados em sistemas militares maiores.

Podem resumir rapidamente informações de inteligência, gerar listas de alvos, classificar ameaças de alta prioridade e recomendar ataques. Um risco importante é que um processo vá desde dados de sensores até a interpretação pela IA, seleção de alvos e ativação de armas com controle ou até mesmo consciência humana mínima ou ausente.

Armas totalmente autónomas são plataformas militares que, uma vez ativadas, realizam operações militares de forma independente, sem intervenção humana. Elas dependem de sensores como câmeras, radares e algoritmos de IA para analisar o ambiente, procurar, selecionar e engajar alvos.

Helicópteros avançados, por exemplo, já operam sem intervenção humana. Com armas totalmente autónomas, o controle e supervisão humanos desaparecem, e a IA toma as decisões finais de ataque e no campo de batalha.

Isso é preocupante, dado que pesquisas recentes mostraram que modelos avançados de IA optaram por usar armas nucleares em jogos de guerra simulados em 95% dos casos.

Os riscos da vigilância em massa

Modelos de IA de fronteira podem resumir conjuntos de dados enormes e gerar automaticamente padrões para procurar sinais de pessoas e atividades suspeitas, mesmo com associações fracas. Em sua declaração sobre as discussões da Anthropic com o Departamento de Guerra, Amodei argumentou que “a vigilância em massa impulsionada por IA apresenta riscos sérios e novos às nossas liberdades fundamentais”.

Eles podem analisar registros, comunicações e metadados para varrer populações. Podem produzir relatórios e listas de pessoas que automaticamente sinalizam quem é questionado, negado entrada em um país, recusado a um emprego, etc. Esses sistemas criam riscos à privacidade porque podem analisar dados de múltiplas fontes, como contas de redes sociais, e combiná-los com câmeras e reconhecimento facial para rastrear pessoas em tempo real.

Modelos de IA também podem cometer erros. Mesmo uma associação errada pequena pode escalar perigosamente se o sistema for aplicado a milhões de pessoas.

Além disso, os modelos de IA são opacos: como eles analisam dados e chegam às suas conclusões não pode ser totalmente compreendido, o que dificulta contestar os resultados.

‘Para todos os fins legais’

A expressão “para todos os fins legais” parece uma limitação de segurança. No entanto, essa linguagem significa que o governo pode usar IA para todos os fins que considerar legais, com poucas restrições no contrato.

Isso é importante porque a legalidade é uma meta móvel, as leis podem mudar e muitas vezes não estão preparadas para lidar em tempo real com inovações rápidas, e as interpretações podem variar.

Foi isso que levou a Anthropic, uma empresa fundada por ex-funcionários da OpenAI com foco explícito em segurança e ética de IA, a argumentar que a vigilância em massa habilitada por IA representava um risco novo e que “para todos os fins legais” não poderia oferecer limites estáveis.

A Anthropic criou um laboratório interno para entender como o Claude funciona, interpreta consultas e toma decisões autônomas. Dada a opacidade dos LLMs e a velocidade com que suas capacidades evoluem, esses esforços são importantes.

Projeto Maven com riscos maiores?

De certa forma, essa história é familiar. Empresas de tecnologia há muito lideram a inovação, com promessas de progresso, mas também riscos de uso indevido e consequências negativas. A comparação histórica mais próxima é o Projeto Maven do Google em 2018.

O Google tinha um contrato com o Pentágono para ajudar a analisar imagens de vigilância de drones. Quatro mil funcionários protestaram contra o projeto, argumentando que a vigilância não deveria fazer parte da missão da empresa. O Google anunciou que não renovaria o Maven e posteriormente publicou princípios de IA que incluíam compromissos relacionados a armas e vigilância.

O caso se tornou um marco no poder do ativismo dos funcionários e da pressão pública.

No entanto, o exemplo do Projeto Maven também nos lembra que a ética empresarial e a segurança de IA são questões fluctuantes. No início de 2025, o Google discretamente abandonou seu compromisso de não usar IA para armas e vigilância, na tentativa de obter novos contratos de defesa lucrativos.

A situação atual da Anthropic é, em alguns aspectos, semelhante à do Projeto Maven: uma empresa e seus líderes tentando estabelecer limites ao uso militar de IA. Ela ilustra as tensões que surgem quando valores corporativos declarados entram em conflito com demandas governamentais e de segurança nacional.

O caso da Anthropic também é distinto porque a IA generativa em 2026 é muito mais poderosa do que há poucos anos. O Projeto Maven era apenas sobre análise de imagens de drones. Os modelos atuais podem ser usados para muitas tarefas, aumentando o risco de spillover.

LLMs como o Claude podem melhorar a si próprios aprendendo com correções de usuários e refinando ações por meio de ciclos de feedback iterativos. Portanto, o que um Claude sem restrições e seu cliente, o Pentágono, poderiam fazer, é preocupante.

Quem define os limites?

Esses eventos não dizem respeito apenas à Anthropic ser particularmente ética ou ao Pentágono ser particularmente exigente. Tratam-se de uma questão crítica que continuará a surgir à medida que a IA se torne mais poderosa: quem define os limites do uso de IA quando a segurança nacional está envolvida?

Se “para todos os fins legais” se tornar o padrão, as barreiras dependerão de política e interpretação legal. Para o Canadá e outras nações, as salvaguardas são essenciais. A ética não pode ficar apenas nas negociações contratuais e na consciência corporativa.

Esses eventos ilustram as complexidades de envolver-se na ética de IA na prática. Princípios e declarações de ética de IA são importantes e abundam. Ao mesmo tempo, na prática, a ética de IA é definida por contratos, regras de aquisição, comportamento real das partes e supervisão.

O setor de defesa e público do Canadá está construindo capacidade de IA, e o Canadá trabalha de perto com os EUA em defesa e inteligência. Isso significa que a linguagem e os padrões de aquisição podem se propagar. Se “para todos os fins legais” se tornar o padrão no mercado de segurança nacional dos EUA, isso poderá pressionar o Canadá e outras nações a adotarem termos semelhantes.

A boa notícia é que o Canadá possui ferramentas de governança que podem ser fortalecidas e ampliadas. A Diretiva sobre Decisões Automatizadas foi criada para garantir que os sistemas sejam transparentes, responsáveis e justos. Ela exige avaliação de impacto e relatórios públicos.

A Avaliação de Impacto Algorítmico é uma ferramenta obrigatória de avaliação de riscos vinculada à diretiva.

Mas os canadenses devem estar atentos aos desenvolvimentos contínuos para garantir que os padrões de aquisição proíbam usos indevidos, que sejam realizadas auditorias e que haja supervisão independente, para que as salvaguardas não dependam apenas de governos e empresas no topo.