Anthropic, sohbet robotu Claude’un bağlam penceresini 75.000 kelimeye kadar genişleterek bir romanın tamamını bir dakikadan daha kısa bir sürede işleyebildiğini duyurdu.

OpenAl’ın eski çalışanlarının kurduğu yapay zekâ girişimi olan Anthrophic, kendi sohbet robotu Claude’un bağlam penceresini büyük ölçüde genişleterek yaklaşık 75.000 kelimeye çıkardı. Şirketin bir blog yazısında belirttiği gibi, bu, The Great Gatsby’nin tamamını tek seferde işleyebilmek için yeterli bir gelişme olarak nitelendirildi. Test sürecinde ise şirket tam da bunu yaparak romandaki tek bir cümleyi düzenledi ve Claude’dan değişikliği tespit etmesini istedi. Claude için kitaptaki değişikliği ve bu değişikliğin nasıl gerçekleştiğini tespit etmek ise 22 saniye sürdü.

Tam da bu noktada sohbet robotları için genellikle göz ardı edilen bir sınırlamanın hafıza olduğunu düşünebiliriz. Ayrıca sistemlere güç veren yapay zekâ dil modellerinin terabaytlarca metin üzerinde eğitildiği doğru olsa da bu sistemlerin kullanımdayken işleyebileceği miktar, yani, “bağlam penceresi” olarak da bilinen giriş metni ve çıktı kombinasyonu sınırlı. ChatGPT içinse bu sınır yaklaşık 3.000 kelime ediyor.

Bu bağlam pencerelerinin uzunluğunu tanımlarken kesin olmayan açıklamaların sebebi ise yapay zekâ dil modellerinin bilgiyi karakter veya kelime sayısıyla değil, jetonlarla ölçmesi. Bilindik niceliklerle tam olarak eşleşmeyen anlamsal bir birim olarak düşündüğünüzde mantıklı gelmesi olağan. Sonuçta, kelimeler uzun veya kısa olabilir ve uzunlukları anlam karmaşıklıklarına karşılık gelmek zorunda değil. ‘’Token” kullanımı bu gerçeği yansıtarak Claude’un bağlam penceresinde daha önce 9.000 jeton işlerken şimdi 100.000 jeton işleyebileyeceğini söylememizi sağlar. Karşılaştırmak gerekirse, OpenAI’ın GPT-4’ü yaklaşık 8.000 token işlerken GPT-4’ün sınırlı tam gelişmiş modeli 32.000 token’a kadar işleyebilir.

Ancak haberler, yapay zekâ dil modellerinin bilgi işleme kapasitesinin arttığını gösteriyor ve bu kesinlikle yeni sistemleri daha kullanışlı hale getirecek. Anthropic’in belirttiği gibi, bir insanın 75.000 kelimelik bir metni okuması yaklaşık beş saat sürüyor, ancak Claude’un genişletilmiş bağlam penceresiyle, uzun bir belgeyi birkaç dakika içinde okuma, özetleme ve analiz etme görevini potansiyel olarak üstlenebilir.

Claude’un yeni kapasitesi şu anda yalnızca Anthropic’in şirketin API’si aracılığıyla sohbet botuna erişen iş ortakları tarafından kullanılabiliyor. Fiyatlandırma konusunda herhangi bir bilgi yok ancak önemli bir artış olacağı kesin. Çünkü daha fazla metin ve bilgi işlemek, işlem için daha fazla harcama yapmak anlamına geliyor.

Derleyen: Dilara Melisa Yaman