Pesquisadores identificaram uma vulnerabilidade crítica envolvendo agentes de inteligência artificial voltados à programação. Ferramentas como Claude (Anthropic), Codex (OpenAI) e Hermes (Nous Research) instalaram pacotes de código não registrados em redes corporativas após seguir instruções presentes em arquivos de documentação mal configurados.
O problema afeta a convenção “llms.txt” e “llms-full.txt”, padrões adotados por um número crescente de sites para oferecer resumos legíveis por máquina sobre conteúdo e estrutura de páginas. Funcionam como uma versão voltada à IA do tradicional robots.txt, que orienta buscadores sobre como indexar um site.
A pesquisa em detalhes
O pesquisador Alon Hertz analisou 6.214 domínios ativos pertencentes a contratantes de defesa, empresas da lista Fortune 500 e big techs. O levantamento encontrou 8.265 arquivos llms.txt e llms-full.txt nesses domínios, com muitos sites hospedando ambos os formatos simultaneamente.
Entre esse total, 120 arquivos em sites diferentes apontavam para pacotes de código ou domínios que nunca haviam sido registrados. Juntos, continham 227 comandos de instalação direcionados a esse conteúdo inexistente.
Para medir o risco na prática, Hertz registrou alguns desses nomes vagos e hospedou pacotes programados para notificar um servidor de pesquisa assim que fossem instalados. Em menos de uma hora, uma empresa da Fortune 500 já havia executado o pacote. Com o tempo, o número de respostas cresceu para algumas dezenas, vindas tanto de outras Fortune 500 quanto de startups.
O registro de cada instalação revelou a cadeia de processos que originou os comandos, permitindo aos pesquisadores identificar a participação dos agentes de codificação mencionados. Anthropic, OpenAI e Nous Research não responderam a pedidos de comentário até a publicação da reportagem original.
Um caso concreto: a Clerk
Um exemplo prático encontrado pelos pesquisadores envolveu um arquivo llms hospedado no site legítimo da Clerk contendo o comando “npx clerk-next-fix-auth-protection”. O npx permite buscar um pacote no repositório npm e executar seu binário diretamente, sem registrá-lo nas dependências do projeto.
Os pesquisadores descobriram que alguém havia registrado esse nome anteriormente vago e o utilizava para distribuir malware ativo. A Clerk corrigiu o problema após ser notificada e informou que, caso um agente tivesse instalado um binário do pacote legítimo @clerk/eslint-plugin, não haveria risco. Não ficou claro se a confusão resultou em infecções reais em outras empresas.
Por que agentes de IA executam instruções erradas
Segundo Hertz, um agente de IA não diferencia uma página de um comando executável. Qualquer conteúdo que lê é tratado como uma possível instrução, transformando toda a documentação publicada na internet em uma superfície de execução, sem as garantias de integridade aplicadas a código de fato.
O problema se conecta à injeção de prompt, vulnerabilidade conhecida em segurança de IA. A diferença é que, neste caso, a instrução original costuma ser legítima e sem intenção maliciosa no momento da redação. O risco surge depois, quando o pacote ou domínio citado é abandonado e outra pessoa o registra.
Caminhos para reduzir o risco
Os pesquisadores apontam duas estratégias principais. A primeira é a limpeza da documentação pelas próprias empresas, removendo referências a pacotes e domínios inexistentes.
A segunda é impedir que agentes de IA tratem arquivos de documentação como instruções executáveis, algo que ainda não é padrão no mercado. Enquanto essa mudança não ocorre, os pesquisadores recomendam que organizações que utilizam IA para programação avaliem com cautela quais permissões concedem a esses agentes para executar comandos no sistema.
Fonte: Canaltech / Ars Technica
Sobre o autor
