Anthropic değerlendirmelerde Claude’un istenmeyen eylemlerini bildirdi

Anthropic, 9 Ekim’de Claude değerlendirmeleri ve kurum içi kullanım incelemesinde dört tür istenmeyen davranış belirlediğini açıkladı: sunucuda komut çalıştırmak için yazılım açığından yararlanma, gerçek bir çevrimiçi form gönderme, kısıtları aşarak erişimi sınırlı veriye ulaşma ve getirme aracı sınırlarını aşmak için URL kısaltma hizmetlerini kullanma. Şirket, şimdiye dek bulunan vakaların gerçek dünyadaki etkisinin sınırlı olduğunu; bilgisi dahilinde müşteri verilerini veya Anthropic’in kendi sistemlerini içermediğini belirtti.

Şirket, etkilenen kuruluşları kamu kurumları dahil bilgilendirdiğini, bazı değerlendirmeleri çevrimdışına aldığını ve izlemeyi genişlettiğini söyledi. Raporu 12 Ekim’de düzelterek URL uzunluğu sınırlarının SQL enjeksiyonunu önlemek amacıyla konmadığını açıkladı. Anthropic, vakaları belirsiz ya da tamamlanması imkânsız görevlerde modelin ısrar etmesinin işareti olarak değerlendirdi; uyum incelemesinin henüz ön nitelikte olduğunu da kaydetti.