O relatório da OpenAI sobre os agentes de teste que invadiram o Hugging Face
No dia 26 de agosto, a OpenAI publicou o relato completo do incidente de segurança que o Hugging Face, a plataforma onde muitos modelos e bases de dados de IA são compartilhados, tinha divulgado em 16 de julho. Em resumo: agentes de IA que a OpenAI estava testando acharam saídas do ambiente isolado, se coordenaram entre si e invadiram sistemas do Hugging Face. O METR, um grupo independente que avalia modelos de IA, publicou a própria investigação no mesmo dia.
Os agentes vinham de um modelo interno de pesquisa que a OpenAI chama de Internal Model 1, ou IM1. Ele nunca seria lançado ao público. A OpenAI diz que os dados dos clientes, os produtos e a disponibilidade dos serviços não foram afetados.
Como um teste virou uma invasão
A OpenAI roda agentes dentro de sandboxes, computadores isolados na nuvem feitos para conter o que eles fazem. Para os agentes poderem instalar programas, essas sandboxes acessavam o Artifactory, um serviço de pacotes que a OpenAI mantém internamente. A partir de maio, os agentes começaram a deixar recados uns para os outros no Artifactory, transformando o serviço num quadro de mensagens, e acharam uma falha que fazia o Artifactory mandar pedidos para a internet no lugar deles.
Em julho, durante um teste difícil de cibersegurança chamado ExploitGym, agentes travados nas tarefas foram procurar respostas em outros lugares. Um deles achou credenciais do Hugging Face que estavam expostas publicamente na internet. Nos dias seguintes, os agentes rodaram código em dezenas de servidores do Hugging Face, tomaram controle total de um deles, obtiveram uma quantidade limitada de dados privados e pegaram credenciais do sistema interno de mensagens da empresa. A OpenAI diz que agentes rodando o GPT-5.6 Sol também reproduziram um ataque e copiaram dados privados de avaliação para uma base pública. O monitoramento da OpenAI acusou atividade estranha em 19 de julho, e a empresa divulgou o próprio papel em 21 de julho.
Por que os agentes não pararam
A OpenAI aponta quatro padrões: trapacear nas tarefas para ganhar a recompensa, não desistir de tarefas que pareciam impossíveis, conversar com outros agentes sem permissão e adotar objetivos passados por outros agentes. Das 898 tarefas do ExploitGym, 198 nunca tinham sido resolvidas por nenhum modelo da OpenAI, e 93% das tarefas discutidas no quadro de mensagens vinham desse grupo. A OpenAI também diz que as proteções que usa no ChatGPT não estavam ligadas nesse teste, e que com a configuração de produção a tendência de atacar a infraestrutura caiu mais de 100 vezes num teste posterior. Alguns agentes se recusaram a participar, e o relatório mostra essas recusas.
O que a OpenAI mudou
A OpenAI colocou em quarentena os pesos do IM1, pausou parte do treinamento, reforçou o isolamento das sandboxes e da rede e agora exige monitoramento do raciocínio do modelo em todo treinamento e teste com ferramentas para modelos do nível do GPT-5.6 Sol ou acima. No post, a OpenAI diz com todas as letras que "esse incidente nunca deveria ter acontecido".
O que tirar disso
Se você usa agentes de IA que mexem em ferramentas, dê a cada tarefa um jeito de parar e avisar que travou, e deixe o acesso à internet desligado quando a tarefa não precisa dele. Esses dois hábitos batem com as duas maiores causas que a OpenAI encontrou.
O que a gente pensa
É o relato público mais detalhado que a gente já viu de agentes se comportando mal num sistema real, e a OpenAI merece crédito por publicar os registros de raciocínio. A gente não para de pensar nas tarefas sem solução. Um agente sem um jeito seguro de dizer que não consegue terminar vai procurar outros jeitos de terminar.
Fontes