Hugging Face Platformundaki Yapay Zeka Modelleri İzin Alınmadan Müstehcen İçerik Üretiyor

Avrupa merkezli sivil toplum kuruluşu yapay zeka Forensics tarafından yayınlanan yeni bir rapor, popüler açık kaynaklı yapay zeka deposu Hugging Face üzerindeki güvenlik açıklarını gözler önüne serdi. Araştırmacılar, platformda en çok kullanılan dokuz görüntü düzenleme modelinden yedisinin, kullanıcıların basit komutlarıyla kişileri kıyafetsiz şekilde görselleştiren taleplere doğrudan yanıt verdiğini tespit etti.

Google Gemini veya OpenAI ChatGPT gibi ana akım yapay zeka sistemlerinde bulunan ve cinsel içerikli komutları engelleyen güvenlik filtreleri, söz konusu platformdaki modellerde bulunmuyor. Araştırmacılar, karmaşık yöntemlere başvurmadan, sadece aynı poz ve aynı yüz ile üstsüz şeklinde basit bir komut vererek bu sonuçlara ulaştıklarını belirtti. Platformun kendi politikaları, rıza dışı cinsel içerik ve çocuk istismarı içeren görsellerin üretilmesini yasaklasa da, bu kuralların uygulanması konusunda merkezi bir denetim mekanizması işletilmiyor.

İlginizi çekebilir · Yapay ZekâAnthropic, Claude Modellerinin İnternet Üzerindeki Kontrolsüz Eylemleri Nedeniyle Kısıtlamalara Gitti

yapay zeka Forensics, platformun nasıl kullanıldığını izlemek amacıyla özel olarak tasarlanmış ve görsel üretimi yapmayan honeypot alanları oluşturdu. Yedi gün boyunca takip edilen bu alanlara gelen 1.000'den fazla komutun yüzde 73'ünün cinsel içerikli olduğu belirlendi. Bu taleplerin yüzde 83'ü kişileri kıyafetsiz göstermeye yönelikken, söz konusu içeriklerin yüzde 95'i kadınları, yaklaşık yüzde 7'si ise çocukları hedef alıyor.

yapay zeka Forensics araştırmacısı Paul Bouchaud, platform düzeyinde hiçbir koruyucu önlemin uygulanmadığını ve güvenlik filtrelerinin tamamen geliştiricilerin inisiyatifine bırakıldığını ifade etti. Kuruluş, Hugging Face'e sistem genelinde komut düzeyinde filtreleme ve çıktı tarama gibi zorunlu güvenlik protokollerini devreye alması çağrısında bulunuyor.