AT&T, Yapay Zeka Maliyetlerini Düşürmek için Açık Kaynak Modellere Yöneliyor

Telekomünikasyon devi AT&T, yapay zeka operasyonlarında maliyetleri optimize etmek için stratejik bir dönüşüm başlattı. Şirket, başlangıçta tamamen OpenAI modelleri üzerine kurulu olan Ask AT&T platformunu, artık farklı sağlayıcıların modellerini de barındıran hibrit bir yapıya dönüştürdü.

Şirketin yapay zeka yöneticisi Mark Austin, açık kaynaklı modellerin performans açısından kapalı modellere denk, hatta bazı görevlerde daha başarılı olduğunu belirtti. Şu an çalışan taleplerinin yüzde 40'ını Nvidia Nemotron, Meta Llama ve Google Gemma gibi modellere yönlendiren şirket, bu oranı önümüzdeki birkaç yıl içinde yüzde 60 ila 70 seviyesine çıkarmayı hedefliyor.

LiteLLM üzerinden gerçekleştirilen akıllı yönlendirme yöntemi, özellikle kod üretimi gibi işlemlerde maliyetleri yüzde 56 oranında düşürürken, çıktı kalitesindeki düşüşü sadece yüzde 2 seviyesinde sınırlı tuttu. Karmaşık görevler için güçlü kapalı modelleri kullanmaya devam eden kurum, özetleme gibi daha hafif iş yüklerini ise daha düşük maliyetli açık kaynak seçeneklere devrederek bütçe dengesini korumayı amaçlıyor.