Armas autónomas que aprendem sozinhas: quando a guerra perde o rosto

A luz do ecrã brilha suavemente no interior do contentor escuro, enterrado algures num deserto que nenhum turista chegará a ver. Uma grelha de píxeis, uma mancha em movimento, um pequeno quadrado que de repente fica vermelho. Nenhuma mão humana pega num comando. Nenhum oficial grita “fogo!”.

Um sistema autoaprendente já tomou a decisão.

A muitos quilómetros dali, outro ecrã mostrará apenas duas palavras: alvo neutralizado.

Ninguém nessa cadeia, do engenheiro de ténis ao general de farda impecável, consegue explicar com exactidão porquê o sistema escolheu aquela assinatura térmica, aquele carro, aquela sombra.

E quanto mais estas armas aprendem sozinhas, mais difícil se torna apontar para uma única pessoa e dizer: a responsabilidade é sua.

A linha da frente já é um algoritmo

Pergunte a um operador de aeronaves não tripuladas o que mudou na última década e ele não vai começar pelas asas maiores ou pelas câmaras melhores.

Vai falar sobre a forma como a máquina agora “ajuda” a decidir, como o programa desenha pequenas caixas à volta de corpos em movimento e os classifica em silêncio por grau de ameaça.

Passo a passo, o papel humano deixa de ser o de agir e passa a ser o de vigiar.

De escolher para simplesmente aprovar.

Num dia tranquilo, isso parece eficiência.

Num dia caótico, quando poeira, crianças, combatentes e civis se misturam no mesmo enquadramento, essa “ajuda” pode transformar-se numa armadilha.

Em 2020, imagens vindas da Líbia mostraram o que parecia ser o primeiro uso registado de uma aeronave de ataque totalmente autónoma, um Kargu-2 de fabrico turco.

O relatório da ONU referiu que estava “programado para atacar alvos sem necessidade de ligação de dados”.

Sem comando em tempo real.

Apenas um conjunto de instruções e uma máquina capaz de procurar e atingir por si própria.

Agora faça copiar e colar desta lógica para programas nos Estados Unidos, na China, em Israel, na Rússia e na Coreia do Sul.

Cada um com as suas próprias regras, base de código e falhas escondidas.

De repente, a guerra parece menos uma reunião de estratégia e mais uma frota de sistemas, todos a aprender, todos a optimizar, todos a empurrar os humanos para carregar em “confirmar”.

Tecnicamente, continua a existir uma cadeia de comando.

Os juristas analisam os procedimentos de selecção de alvos. Os programadores testam os conjuntos de dados. Os oficiais autorizam a entrada em operação.

Mas quando um sistema autónomo se adapta no terreno, com base em padrões que descobre sozinho, causa e efeito começam a desfocar-se.

Que linha exacta de código levou a que um agricultor fosse confundido com um combatente?

O conjunto de treino exagerava um tipo de rosto, uma determinada roupa, uma certa paisagem?

Ou o sistema criou uma regra interna que nenhum humano alguma vez antecipou?

A responsabilização derrete-se numa névoa de responsabilidade partilhada e negação plausível.

Todos estão envolvidos. Ninguém é precisamente culpado.

Como a responsabilidade se vai esbatendo nas armas autónomas

A mudança começa com uma promessa que soa quase inofensiva: “a IA só vai ajudar, os humanos continuam no ciclo”.

Nos diapositivos de apresentação, esse ciclo parece limpo. O humano ao centro, a tecnologia como ferramenta.

Na prática, um sistema autoaprendente torna-se muitas vezes o cérebro por defeito.

É mais rápido, reage em microssegundos, nunca se cansa nem entra em pânico.

Um operador exausto, a olhar para uma parede de ecrãs às três da manhã, confiará muito mais facilmente na caixa colorida em volta de uma figura do que na sua própria visão desfocada.

Com o tempo, a questão deixa de ser “o que devemos fazer?” e passa a ser “porque é que alguma vez hás-de contrariar a IA?”.

O padrão já é visível na vida civil.

Pense em condutores que seguem as instruções da navegação até estradas sem saída ou mesmo até rios.

Transponha isso para um campo de batalha, onde as decisões são letais e os dados são mais sujos.

Uma IA treinada sobretudo com imagens de combatentes armados pode subestimar o perigo em situações que lhe parecem “diferentes”, ou aumentá-lo quando encontra uma postura familiar no contexto errado.

Num exercício real da OTAN, uma IA de defesa antimíssil começou a classificar aeronaves amigas como hostis depois de se adaptar a um novo padrão.

Não estava “descontrolada”. Estava apenas a fazer aquilo para que foi criada: aprender.

Num campo de batalha real, esse tipo de aprendizagem pode apagar a linha entre erro e crime.

A lei e a ética movem-se muito mais devagar do que as actualizações de código colocadas em produção.

O direito da guerra tradicional parte do princípio de que existe uma mente humana por trás de cada ataque, capaz de avaliar proporcionalidade e distinção.

Os sistemas autoaprendentes fragmentam esse pressuposto.

A responsabilidade pode ficar repartida entre o fornecedor do programa, o cliente militar, o fornecedor de dados, o oficial e o líder político.

Nas salas de administração e nas audiências, já se agarram a expressões reconfortantes: “falha do sistema”, “comportamento inesperado”, “anomalia no modelo”.

Soa técnico. Também soa conveniente.

Quando uma máquina se torna o último actor visível numa cadeia mortal, há sempre o risco de a responsabilidade humana sair discretamente da sala.

Auditorias independentes para armas autónomas

Há um elemento muitas vezes esquecido nesta discussão: a auditoria independente.

Sem equipas externas a testar o comportamento do sistema antes da compra e depois de cada actualização, os defeitos escondem-se facilmente atrás de relatórios optimistas.

Num domínio letal, a confiança nunca devia assentar apenas na palavra do fornecedor.

Também importa olhar para as exportações. Quando estes sistemas atravessam fronteiras sem escrutínio suficiente, países com menos controlo institucional podem receber tecnologia que ainda não dominam.

Isso amplia o risco de abusos e torna muito mais difícil aplicar qualquer regime de responsabilidade.

Como manter os humanos verdadeiramente no comando

Se as armas autoaprendentes vierem para ficar, o único passo honesto é desenhar contra a tentação de abdicar da responsabilidade.

E isso começa de forma brutalmente precoce, logo na fase do quadro branco.

Todas as equipas que constroem ou colocam estes sistemas em operação podem impor limites rígidos: nenhuma decisão letal totalmente autónoma, poder de veto humano obrigatório, registos claros de cada actualização do modelo.

Não como adereços de última hora, mas como escolhas centrais de concepção.

Alguns laboratórios já simulam cenários de “piores dias”, e não apenas demonstrações optimistas.

Testam como reage um operador sob pressão quando a IA insiste num ataque.

O quão fácil é dizer “não”.

Ou fazer uma pausa.

Na prática, as forças armadas podem criar uma cultura em que contrariar a IA não seja visto como fraqueza ou incompetência.

Isto parece abstracto, mas vive de hábitos muito concretos.

Nas reuniões de análise pós-operação, pode perguntar-se explicitamente: “Em que momento discordou hoje do sistema?”

Não para punir, mas para normalizar a dúvida.

A formação pode incluir exercícios em que a IA se engana de propósito, e os humanos são recompensados por a apanhar.

Porque sejamos honestos: se o programa estiver sempre certo nas simulações, ninguém lhe vai resistir em guerra.

Todos já tivemos aquele momento em que a máquina parece mais esperta do que nós.

Num campo de batalha, resistir a essa sensação pode ser literalmente a diferença entre um crime de guerra e contenção.

Os planeadores militares detestam trilhos documentais confusos, mas este é um que não podem saltar.

Uma documentação clara sobre quem fez o quê, quando e com base em que recomendação é a única forma de reconstruir mais tarde uma decisão letal.

Os registos devem mostrar: que versão do modelo correu nesse dia, que parâmetros estavam activos, que níveis de confiança apareciam no ecrã, que opções alternativas foram apresentadas.

É um trabalho moroso e sem brilho.

Ainda assim, sem isto, qualquer investigação acabará reduzida a memórias vagas e acusações cruzadas.

Um engenheiro de armas resumiu-o sem rodeios:

“Se não escrevermos exactamente a forma como o sistema pensa, um dia acabaremos a dizer ‘foi a IA’ como se fosse um fantasma. E fantasmas não comparecem em tribunal.”

Para os cidadãos e leitores longe do campo de batalha, a questão é saber que pressão podem exercer.

O debate público chega muitas vezes tarde, quando os sistemas já estão em uso.

Mesmo assim, há algumas alavancas claras:

• Peça aos representantes eleitos que apoiem a proibição de sistemas letais totalmente autónomos.
• Exija transparência sobre as ferramentas de IA que o seu país compra ou exporta.
• Apoie jornalistas e organizações não governamentais que investiguem a guerra algorítmica.
• Questione promessas de “zero vítimas do nosso lado” que escondem riscos para os outros.

Sejamos honestos: ninguém passa os olhos, por diversão, por documentos de aquisição de defesa todas as semanas.

Mas é aí que muitas vezes são tomadas, em silêncio, as decisões sobre autonomia e responsabilização, em ficheiros densos que quase ninguém abre.

Um futuro sem rosto para a guerra

Quando se observa esta tendência à distância, o futuro parece estranhamente remoto e íntimo ao mesmo tempo.

Remoto, porque a tecnologia está escondida atrás de carimbos de classificação, siglas e portas reforçadas.

Íntimo, porque a lógica por trás dela já está a moldar as aplicações que usamos todos os dias.

Quando a sua aplicação de música, o seu feed de compras e as sugestões de notícias afirmam que “aprendem” consigo, estão a treiná-lo a confiar em decisões opacas.

As armas autoaprendentes são essa mesma lógica sem travão de segurança.

Se uma lista de reprodução o interpretar mal, salta uma canção.

Se um veículo aéreo não tripulado de combate interpretar mal uma camioneta, morrem pessoas, e talvez reste apenas um ficheiro de registo corrompido.

Há também um custo emocional profundo de que quase não falamos.

Os militares já lutam com feridas morais, a distância entre o que fizeram e o que acreditam ser correcto.

Agora imagine regressar a casa com a consciência de que o “seu” sistema matou pessoas que nunca viu.

Sem confronto pessoal, sem ordens gritadas, sem rostos, apenas um padrão estatístico disparado a partir de outro continente.

Como se chora uma morte desencadeada por uma linha de código que não escreveu?

Como se perdoa a si próprio por ter confiado num mapa térmico?

Do outro lado, as comunidades que vivem sob o zumbido das aeronaves não tripuladas sofrem uma ferida diferente: a sensação de terem sido julgadas e executadas por algo que nunca soube sequer o nome delas.

A lei tentará acompanhar. Serão redigidos tratados. Serão traçadas linhas vermelhas, e depois testadas.

Alguns países prometerão não as ultrapassar; outros dirão que não se podem dar ao luxo de ser contidos se os rivais avançarem primeiro.

Enquanto isso, os engenheiros continuarão a melhorar os modelos, a acrescentar parâmetros, a lançar correcções.

Cada actualização vendida como mais segura, mais precisa, mais controlada.

Mas a pergunta central não encolhe: quando uma arma aprende sozinha, quem suporta o peso das suas escolhas?

Talvez o verdadeiro perigo não seja as máquinas tornarem-se demasiado inteligentes.

Talvez seja os humanos acharem-nas demasiado convenientes para culpar.

Tabela-resumo

Ponto-chave	Detalhe	Interesse para o leitor
Os sistemas autoaprendentes alteram a cadeia de comando	A IA leva os humanos de decisores activos a aprovadores passivos, sobretudo sob stress.	Ajuda a perceber como a responsabilidade pode desaparecer, mesmo quando “há um humano no circuito”.
A responsabilização fica fragmentada	Engenheiros, oficiais, fornecedores e políticos ficam com parcelas de culpa, enquanto o modelo continua a mudar.	Esclarece porque é tão difícil punir ataques errados na era dos algoritmos adaptativos.
Ainda é possível criar salvaguardas concretas	Limites de concepção, veto humano, registos transparentes e pressão pública podem travar a deriva para matar de forma totalmente autónoma.	Mostra onde a sua voz e o seu voto podem realmente fazer diferença num domínio opaco.

Perguntas frequentes

• As armas letais totalmente autónomas já estão a ser usadas?
  Há indícios de, pelo menos, um ataque com uma aeronave não tripulada autónoma na Líbia, e várias forças armadas estão a testar sistemas capazes de seleccionar e atacar alvos com intervenção humana mínima.

• Qual é a diferença entre armas “automatizadas” e “autónomas”?
  Os sistemas automatizados seguem regras fixas; os sistemas autónomos e autoaprendentes podem adaptar o seu comportamento com base em novos dados, criando decisões que ninguém programou explicitamente.

• O direito internacional consegue mesmo lidar com a guerra conduzida por IA?
  As leis existentes exigem julgamento humano quando se usa força letal, mas não foram escritas a pensar em código autoaprendente, o que deixa grandes zonas cinzentas que juristas e diplomatas só agora começam a mapear.

• Porque não proibimos simplesmente toda a IA nas armas?
  Alguns usos de IA, como sensores defensivos ou ferramentas de desconflição, podem reduzir acidentes; o debate mais difícil é onde traçar a linha entre assistência e delegação das escolhas letais.

• O que é que os cidadãos comuns podem fazer sobre isto?
  Apoiar a regulamentação das armas autónomas, seguir investigações sobre guerra algorítmica e pressionar os seus representantes sobre políticas de exportação e aquisição são formas de influenciar até onde esta tecnologia vai.