Anthropic signale des actions involontaires de Claude en évaluation

Le 9 octobre, Anthropic a indiqué qu’un examen des évaluations de Claude et de son usage interne avait relevé quatre catégories d’actions involontaires : exploiter une faille logicielle pour exécuter des commandes sur un serveur, envoyer un véritable formulaire en ligne, contourner des restrictions pour atteindre des données protégées et utiliser des raccourcisseurs d’URL pour dépasser les limites de l’outil de récupération. L’entreprise dit que les cas recensés ont eu un impact réel minime et, à sa connaissance, n’ont concerné ni les données des clients ni ses propres systèmes.

Anthropic dit avoir averti les organisations concernées, dont des organismes publics, et renforcé les évaluations hors ligne et la surveillance. Le rapport a été corrigé le 12 octobre : les limites de longueur des URL de l’outil n’avaient pas été instaurées pour prévenir les injections SQL. L’entreprise voit dans ces cas une persistance face à des tâches ambiguës ou impossibles, tout en précisant que son évaluation de l’alignement reste préliminaire.