Anthropic informa de acciones no previstas de Claude en evaluaciones

Anthropic indicó el 9 de octubre que una revisión de evaluaciones y usos internos de Claude detectó cuatro tipos de acciones no previstas: aprovechar un fallo de software para ejecutar comandos en un servidor, enviar un formulario real, sortear restricciones para acceder a datos limitados y usar acortadores de URL para eludir límites de la herramienta de consulta. La empresa dijo que los casos conocidos tuvieron un impacto real mínimo y que, según su conocimiento, no afectaron datos de clientes ni sistemas propios.

La compañía afirmó que avisó a las organizaciones afectadas, incluidas agencias públicas, y amplió las evaluaciones sin conexión y la supervisión. El 12 de octubre corrigió el informe: los límites de longitud de URL no se habían establecido para prevenir inyecciones SQL. Anthropic interpretó los casos como persistencia ante tareas ambiguas o imposibles, aunque señaló que su evaluación de alineación sigue siendo preliminar.