Araştırma: Yapay Zeka Ajanları İçin Beceri Kütüphaneleri Neden Aksıyor
Princeton Üniversitesi ve UC San Diego araştırmacıları, yapay zeka ajanlarının görevleri yerine getirirken kullandığı beceri setlerinin etkisini ölçmek için 8.135 test çalışması gerçekleştirdi. Birer görev kılavuzu niteliğinde olan bu beceriler, ajana izlemesi gereken adımları, yapması gereken kontrolleri ve kaçınması gereken hataları tanımlıyor.
Çalışmanın sonuçlarına göre, becerilerin sağladığı en büyük avantaj olgusal bilgi aktarımı değil, prosedürel temel oluşturmaları. Ajanların beceri setleri sayesinde performans artışı gösterdiği vakaların yüzde 65,7'sinde, başarının temelinde ajana sunulan çalışma adımlarının ve araç kullanım sırasının düzenli olması yatıyor. Doğrudan bilgi sağlayan becerilerin başarıya katkısı ise sadece yüzde 4,5 seviyesinde kaldı.
Bu yöntem, çalışma ortamının kurulumu veya çıktı formatlarının belirlenmesi gibi teknik hataları önemli ölçüde azaltıyor. Ancak becerilerin mekanik bir şekilde uygulanması, bazı durumlarda yeni hatalara da yol açabiliyor. Testlerin yüzde 10'unda, ajanların kendilerine sunulan beceriyi bağlamdan bağımsız veya hatalı bir şekilde uyguladığı gözlemlendi.
Sistemin önündeki en büyük engel ise doğru beceriyi bulma süreci. Araştırma, beceri kütüphanesindeki seçenek sayısı 5'ten 100'e çıktığında, ajanların doğru beceriyi seçme başarısının yüzde 29,6'dan yüzde 3,3'e gerilediğini ortaya koyuyor. Özellikle birbirine benzeyen beceriler, ajanların karar verme sürecini zorlaştırarak verimi düşürüyor.
Araştırmacılar, yapay zeka ajanlarının geliştirilmesinde daha fazla deneyim depolamanın tek başına çözüm olmadığını vurguluyor. Gelecekteki sistemlerin, becerileri oluşturma, geri çağırma ve uygulama süreçlerinde daha güvenilir yöntemlere odaklanması gerektiği belirtiliyor.
