Yapay Zekâda İngilizce Dışı Dillere Jeton Vergisi: Maliyet 5 Kata Kadar Çıkıyor

Yapay zekâ servisleri kullanım bedelini kelime ya da harf üzerinden değil, “jeton” (token) üzerinden hesaplıyor. Dil Eşitliği için Yapay Zekâ Araştırmaları Koalisyonu’nun (CLEAR) yayımladığı çalışmaya göre aynı anlamı taşıyan bir metin, dile bağlı olarak çok farklı sayıda jeton tüketiyor. Bu da İngilizce dışındaki kullanıcıları fark etmeden daha yüksek faturayla karşı karşıya bırakıyor.

Jeton nedir, fark nereden çıkıyor?

Dil modelleri metni doğrudan okumaz; önce “tokenizer” denen bir araçla küçük parçalara böler. İngilizce gibi internette bol bulunan diller için bu parçalar uzun ve verimlidir, yani bir cümle az sayıda jetonla ifade edilir. Çevrimiçi varlığı sınırlı diller ise daha çok parçaya bölünür. Rest of World’ün aktardığına göre, internette en yaygın 20 dil arasında bile en pahalı dil, en ucuz olana kıyasla 1,5 ila 5 kat daha fazla jeton kullanıyor.

200 dile bakınca fark 17 katı buluyor

Araştırmacılar kapsamı 200 dile genişlettiğinde, incelenen modellerden birinde fark 17 kata kadar çıktı. Çalışmaya göre belirleyici olan yalnızca konuşur sayısı değil, yazı sistemi. Konuşanı az olsa bile Latin alfabesi kullanan Asturyasça, Latin alfabeli ve birbirine yakın dillerin avantajından yararlanıyor. Buna karşılık Birmanca, Tibetçe, Tifinag, Khmerce, Lao ve Ol Chiki gibi alfabeler, incelenen modellerin neredeyse hepsinde en dezavantajlı grupta yer aldı.

Yalnızca fatura değil, kalite de etkileniyor

Yüksek jeton sayısının etkisi para ile sınırlı kalmıyor. Daha fazla jeton, yanıtların daha geç gelmesi ve modelin “bağlam penceresi” denen çalışma belleğinin daha çabuk dolması anlamına geliyor. Bu durum özellikle öğretmenlik gibi uzun konuşma gerektiren uygulamalarda hizmet kalitesini düşürebiliyor. Uzmanlar, daha zengin çok dilli veri kadar, yeterince temsil edilmeyen alfabeler için baştan tasarlanmış tokenizer’lara da ihtiyaç olduğunu söylüyor. Önerilerden biri, şirketlerin dil bazında performans ve maliyet karnesi yayımlaması.