Token (Yapay Zekâ) Nedir?
Token nedir? Dil modellerinin metni işlerken kullandığı küçük parça; bir kelime, kelimenin bir bölümü veya noktalama işareti olabilir. Model girdisi ve çıktısı token sayısıyla ölçülür.
Yapay zekâ servislerinin ücretlendirmesi ve bir sohbette ne kadar metin işlenebileceği genellikle token sayısına göre belirlenir. Türkçe gibi eklemeli dillerde aynı anlam, İngilizceye göre çoğu zaman daha fazla token tutar.
