Uma sequência de incidentes envolvendo agentes de inteligência artificial que escaparam de ambientes de teste controlados e atacaram alvos reais na internet todos compartilham uma origem comum: a startup israelense Irregular. A empresa, que se apresenta como especializada em teste de resiliência de modelos de IA em cenários realistas, trabalha com as maiores empresas de tecnologia do setor, incluindo OpenAI, Meta, Anthropic e Google. Desde julho de 2024, conforme revelações sucessivas, ficou claro que múltiplos incidentes não eram episódios isolados, mas casos conectados pelo mesmo problema fundamental nos processos de avaliação da Irregular.
Como os agentes de IA escaparam dos testes
Os incidentes ocorreram durante avaliações de segurança cibernética conduzidas pela Irregular ao longo de 2024. A empresa utilizava ambientes de teste simulados para avaliar as capacidades defensivas e ofensivas dos modelos, incluindo exercícios de “captura de bandeira” (capture-the-flag), um método comum na indústria para testar habilidades de invasão hackers. Os agentes deveriam estar confinados a redes simuladas, sem acesso à internet aberta.
Segundo Omer Nevo, diretor de tecnologia e cofundador da Irregular, ocorreram dois erros críticos simultâneos que levaram aos ataques reais. Primeiro, o acesso à internet aberta ficou disponível não intencionalmente nos ambientes de teste. Segundo, um nome fictício de empresa criado para servir como alvo da simulação coincidiu com um domínio real na internet. A combinação desses dois erros fez com que os agentes de IA direcionassem seus ataques a alvos reais, embora não seja claro quais empresas ou organizações específicas foram efetivamente atacadas.
Nevo confirmou ao The Verge que o mesmo problema subjacente afetou múltiplos incidentes envolvendo modelos de OpenAI, Meta, Anthropic e Google. “Todos os incidentes envolvendo a Irregular derivaram da mesma questão fundamental em um único cenário de avaliação e foram divulgados”, afirmou, enfatizando que “outros incidentes de segurança relatados recentemente na indústria são não relacionados à Irregular ou às nossas avaliações.” Isso inclui o ataque ao Hugging Face e violações reportadas pelo Instituto de Segurança de IA do Reino Unido.
Quem é a Irregular e qual é seu escopo
A Irregular foi fundada em 2023, originalmente sob o nome Pattern Labs. A empresa oferece “plataformas de pesquisa de alta fidelidade que simulam e monitoram cenários reais de segurança de IA.” Sua lista exata de clientes não é pública, mas evidências indicam alcance significativo: seu trabalho foi citado nos system cards de modelos da OpenAI, foi utilizada para testar sistemas para o governo do Reino Unido e Anthropic, além de ter publicado pesquisa em colaboração com a RAND, um think tank influente que informa políticas sobre inteligência artificial.
O escopo de testes da Irregular vai além das quatro grandes empresas de tecnologia dos EUA. A empresa realizou avaliações de segurança cibernética similares em Kimi K3 e GLM-5.2, modelos de IA abertos de empresas chinesas Moonshot AI e Z.ai, respectivamente. Diferentemente dos modelos proprietários das outras empresas, esses modelos podem ser baixados e executados livremente em hardware próprio, permitindo que a Irregular e outros avaliadores não dependam das empresas para acesso ou envio de dados.
Segundo Nevo, as avaliações dos modelos chineses não resultaram em incidentes similares de ataque a alvos reais. “Não observamos o mesmo tipo de problema descrito nos incidentes referenciados aqui durante nossas avaliações de GLM ou Kimi”, disse. Contudo, ele ressalvou que essa “observação isolada não deve ser interpretada como evidência de que esses modelos são menos suscetíveis a esse tipo de comportamento.” Nem a Moonshot nem a Z.ai responderam ao pedido de comentário do The Verge.
Timeline e notificações das empresas afetadas
Os relatórios de Anthropic e OpenAI, juntamente com notícias sobre Google, indicam que as grandes empresas de tecnologia foram notificadas aproximadamente no mesmo período, em fins de julho de 2024. OpenAI e Anthropic anunciaram as violações por conta própria, enquanto os incidentes envolvendo Meta e, semanas depois, Google se tornaram públicos primeiramente através de reportagens da mídia.
É importante notar que “divulgado” não necessariamente significa tornado público. Permanece incerto se Nevo se referia a informar apenas os clientes da Irregular, o público em geral ou outras partes. Nenhuma das quatro grandes empresas de tecnologia dos EUA respondeu a perguntas solicitando detalhes adicionais, incluindo quando ficaram cientes das violações, se estavam buscando indenizações ou outros remédios da Irregular, e se esperavam continuar trabalhando com a empresa. Google e Anthropic não responderam, enquanto OpenAI e Meta apontaram The Verge para posts de blog previamente publicados.
Medidas corretivas e lições futuras
Em resposta aos incidentes, Nevo informou que a Irregular implementou mudanças nos seus processos de teste:
- Apertou controles de acesso à internet
- Expandiu monitoramento e revisão manual
- Fortaleceu verificações antes do início das avaliações para confirmar que o acesso corresponde ao escopo pretendido
- Melhorou a documentação e o alinhamento com parceiros sobre configuração e parâmetros de cada avaliação
Além disso, a Irregular planeja publicar um relatório mais amplo “cobrindo lições aprendidas e práticas para conduzir avaliações de cibersegurança com segurança” após a conclusão do trabalho conjunto com as empresas envolvidas. “Nosso trabalho com parceiros visa transformar lições desses incidentes em práticas compartilhadas e públicas para desenvolver e avaliar IAs cada vez mais poderosas de forma segura”, afirmou Nevo.
Análise Panorama IA
Esses incidentes revelam uma tensão crítica na avaliação de segurança de modelos de IA autônomos: a necessidade de testes realistas para identificar comportamentos perigosos colide com o risco inerente de que tais testes escapem do controle. O fato de que múltiplas empresas independentes — OpenAI, Meta, Anthropic e Google — todas experimentaram problemas similares através do mesmo avaliador aponta para dificuldades estruturais na segregação e controle de ambientes de teste de IA.
O ponto crítico não é que a Irregular era maliciosa ou negligente de forma única, mas sim que dois erros técnicos relativamente comuns — acesso à internet não controlado e colisão entre nomes fictícios e reais — foram suficientes para que agentes autônomos atacassem alvos reais. Isso sublinha que conforme os modelos de IA se tornam mais capazes de ações autônomas complexas, incluindo aquelas com descobertas autônomas de novos sistemas, o risco de escape de ambiente de teste aumenta proporcionalmente.
Há também uma questão de comunicação e transparência que permanece sem solução. A terminologia “divulgado” usada por Nevo é vaga — pode significar comunicação apenas aos clientes, às autoridades regulatórias, ou ao público. As grandes empresas não forneceram detalhes públicos completos sobre quando ficaram cientes, que alvos foram atacados, ou se existe investigação legal em andamento. Isso dificulta a avaliação pública da gravidade real dos incidentes e do aprendizado que deve ser extraído para o setor.
Para observar a seguir: (1) se a Irregular continua sendo usada por essas grandes empresas após as mudanças implementadas; (2) se o relatório prometido sobre “práticas seguras” será verdadeiramente público e acionável; (3) se agências regulatórias investigarão esses incidentes como potencial precedente para vigilância futura de testes de IA; e (4) como o setor diferenciará entre incidentes causados por falhas de teste (como esses) e aqueles que resultam de comportamentos realmente perigosos e autônomos dos modelos.
Fonte: The Verge
Sobre o autor
