Google, Gemini API‘sinde, şirketin üçüncü taraf geliştiriciler için en son yapay zeka modellerinin kullanım maliyetini azaltacağını iddia ettiği “örtülü önbellekleme” adlı yeni bir özelliği kullanıma sundu.

Google, bu özelliğin Gemini API aracılığıyla modellere iletilen “tekrarlayan bağlam” üzerinde %75’e varan tasarruf sağlayabileceğini belirtiyor. Örtülü önbellekleme, Google’ın Gemini 2.5 Pro ve 2.5 Flash modellerini destekliyor.

Örtülü Önbelleklemenin İşleyişi ve Avantajları

Yapay zeka endüstrisinde yaygın olarak benimsenen bir uygulama olan önbellekleme, bilgi işlem gereksinimlerini ve maliyetleri azaltmak için modellerden sık erişilen veya önceden hesaplanmış verileri yeniden kullanır. Örneğin, önbellekler kullanıcıların bir modele sıkça sorduğu soruların yanıtlarını depolayabilir, bu da modelin aynı isteğe tekrar tekrar yanıt oluşturma ihtiyacını ortadan kaldırır.

Google daha önce model istemi önbellekleme sunuyordu, ancak yalnızca geliştiricilerin en sık kullanılan istemlerini tanımlaması gereken “açık” istem önbelleklemesini destekliyordu. Maliyet tasarrufu garanti edilmesi gerekse de, açık istem önbelleklemesi tipik olarak çok fazla manuel çalışma içeriyordu.

Bazı geliştiriciler, Gemini 2.5 Pro için Google’ın açık önbellekleme uygulamasının beklenenden yüksek API faturalarına neden olabileceği yönünde eleştirilerde bulunmuşlardı. Geçtiğimiz hafta bu şikayetler yoğunlaşmış ve Gemini ekibinin özür dilemesine ve değişiklik yapma sözü vermesine yol açmıştı.

Açık önbelleklemenin aksine, örtülü önbellekleme otomatik olarak çalışır. Gemini 2.5 modelleri için varsayılan olarak etkinleştirilen bu özellik, bir Gemini API isteği bir önbellek isabeti aldığında maliyet tasarrufunu otomatik olarak uygular.

Google’ın Belgelerine Göre Teknik Detaylar ve Geliştirici Önerileri

Google’ın geliştirici belgelerine göre, örtülü önbellekleme için minimum istem belirteci sayısı 2.5 Flash için 1.024 ve 2.5 Pro için 2.048’dir. Google, geliştiricilerin örtülü önbellek isabet olasılığını artırmak için tekrarlayan bağlamı isteklerin başına eklemelerini öneriyor. İstekten isteğe değişebilecek bağlamın ise sona eklenmesi gerektiği belirtiliyor.

Google, yeni örtülü önbellekleme sisteminin vaat edilen otomatik tasarrufları sağlayacağına dair herhangi bir üçüncü taraf doğrulaması sunmadı. Bu nedenle, ilk kullanıcıların geri bildirimleri bekleniyor.

Derleye: Enis Yabar