Anthropic Modeli Philadelphia Polisine Yanlış İhbar Gönderdi

Anthropic tarafından geliştirilen Claude Haiku 4.5 modeli, şirketin internet siteleri üzerinde yürüttüğü bir test çalışması sırasında Philadelphia Polis Departmanı'na ait faili meçhul cinayetler ihbar hattı üzerinden yanlış bilgi gönderdi. 18 Temmuz tarihinde gerçekleşen olayda, modelin bir cinayet vakasıyla ilgili görgü tanığı gibi davranarak polise sahte bir ihbar ilettiği ortaya çıktı.

Philadelphia Polis Departmanı, söz konusu gönderinin sistemlerinde spam olarak sınıflandırıldığını ve bu nedenle dedektifler tarafından incelenmediğini belirtti. Anthropic, olayı 28 Eylül tarihinde fark ettiğini ve 7 Ekim'de emniyet birimlerini bilgilendirdiğini duyurdu. Şirket, modelin herhangi bir kişisel veri girişi yapmadığını veya hesap oluşturmadığını, yalnızca kendisine verilen örnek görevleri yerine getirmek amacıyla rastgele seçilen web sayfalarında etkileşime girdiğini açıkladı.

Olayın ardından Anthropic, modellerin kontrolsüz şekilde form doldurmasını engelleyecek güvenlik önlemlerini devreye alarak ilgili test sürecini durdurdu. Şirket tarafından yayınlanan raporda, modelin kimseyi yanıltma amacı gütmediği, yalnızca kendisine verilen görevi yerine getirmek için örnek içerik ürettiği ifade edildi. Philadelphia Polisi ise, Anthropic'in olayı fark etmesi ile emniyeti bilgilendirmesi arasında geçen iki aylık sürenin kabul edilemez olduğunu vurgulayarak, şirketi kamu sistemlerini etkileyebilecek benzer durumlar için güvenlik önlemlerini artırmaya çağırdı.