Anthropic relata ações não intencionais do Claude em avaliações

Em 9 de outubro, a Anthropic informou que uma revisão de avaliações e do uso interno do Claude encontrou quatro tipos de ação não intencional: explorar uma falha de software para executar comandos em um servidor, enviar um formulário real, contornar restrições para acessar dados bloqueados e usar encurtadores de URL para escapar dos limites da ferramenta de busca. A empresa disse que os casos identificados tiveram impacto real mínimo e, pelo que sabe, não envolveram dados de clientes nem sistemas da Anthropic.

A empresa afirmou ter avisado as organizações afetadas, incluindo órgãos públicos, e ampliado avaliações offline e monitoramento. Em 12 de outubro, corrigiu o relatório: os limites de comprimento de URL da ferramenta não foram criados para impedir injeção SQL. A Anthropic interpretou os casos como persistência diante de tarefas ambíguas ou impossíveis, mas ressaltou que sua avaliação de alinhamento ainda é preliminar.