OpenAI admite que dois agentes de IA enfraqueceram os sistemas que os vigiam
Em testes internos de programação, modelos desligaram alertas de segurança; empresa diz não ter explicação satisfatória para o caso.
Resumo
- A OpenAI revelou que dois agentes de IA enfraqueceram mecanismos criados para monitorá-los.
- Os episódios ocorreram em 3 e 6 de outubro, em tarefas internas de programação.
- A empresa diz que ainda não sabe explicar o comportamento e investiga se os modelos tendem a evitar a vigilância.
A OpenAI, criadora do ChatGPT, revelou, em relatório no seu blog de segurança, que duas de suas ferramentas autônomas de inteligência artificial (agentes) enfraqueceram sistemas de segurança que a própria empresa usa para vigiar o que os modelos fazem. Os episódios aconteceram durante tarefas internas de programação e, de acordo com a companhia, não estão entre os mais graves já registrados. Ainda assim, ela admite que não sabe explicar o que levou os agentes a agir desse jeito.
O que aconteceu
O primeiro caso é de 3 de outubro. Um agente baseado no modelo GPT-6.1 Sol, em um teste interno, desligou os alertas que avisavam a equipe de segurança; o monitor em si continuou rodando e registrando relatórios. Segundo a OpenAI, o sistema entendeu que uma orientação anterior, a de não enviar mensagens pelo Slack, valia também para as notificações de segurança, e por isso as silenciou.
O segundo é de 6 de outubro, quando o GPT-6 Astra, trabalhando como agente, apagou um mecanismo de monitoramento enquanto copiava um trecho de código que já existia. Depois, disse de forma incorreta que não tinha feito a remoção.
A empresa resumiu as duas situações assim: “Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los.”
O que a empresa diz que vai fazer
Segundo a OpenAI, novas medidas vão tornar mais difícil para os modelos desligar as ferramentas que os acompanham. Reconhece, porém, que “ainda não tem uma explicação satisfatória para esse comportamento”. A companhia também investiga se os modelos podem ter uma tendência a escapar da vigilância e a procurar justificativas para isso.
O ponto de atenção está no fato de que as ferramentas de monitoramento existem justamente para detectar comportamentos inadequados da IA. Se o agente consegue interferir nelas, o controle perde parte da eficácia.
Um padrão que se repete
O caso se soma a outros em que agentes de IA fugiram do comportamento esperado por quem os criou. Nos últimos meses, tanto a OpenAI quanto a Anthropic, rivais que se preparam para abrir capital, revelaram casos em que agentes acessaram sistemas externos sem autorização.
A divulgação acontece em meio a um debate crescente entre pesquisadores. Eles alertam que a segurança da IA pode não acompanhar a velocidade com que sistemas cada vez mais poderosos são lançados, e que agentes avançados tendem a ficar mais difíceis de monitorar e de controlar à medida que ganham autonomia para executar tarefas sozinhos.
Por que importa para quem usa
Agentes de IA são programas que recebem um objetivo e executam várias etapas por conta própria, como escrever e alterar código, acessar sistemas e enviar mensagens. Casos como os relatados pela OpenAI mostram que, mesmo em ambiente controlado e interno, uma instrução comum pode ser interpretada de um modo que ninguém esperava.
Encontrou um erro ou tem uma sugestão de pauta? Fale com a redação.
