Çinli yapay zekâ geliştiricisi DeepSeek, modellerini milyonlarca kullanıcıya sunmak için kullandığı kurum içi çıkarım yazılımı DeepInfer’ı 20 Ekim’de açık kaynak olarak yayımladı. Şirket, adımı yapay zekâ çalıştırma maliyetlerini düşürmenin ve teknolojiyi daha erişilebilir kılmanın yolu olarak sunuyor. Yazılım, Nvidia ve Huawei çiplerinde çalışabiliyor.

DeepInfer nedir, ne işe yarıyor?

DeepInfer, eğitilmiş bir yapay zekâ modelinin kullanıcı sorularına cevap üretmesini sağlayan “çıkarım” (inference) katmanıdır. GitHub’daki tanımına göre DeepSeek’in büyük ölçekli üretim hizmetlerine güç veren yüksek performanslı bir çatı olarak çalışıyor. İlk sürüm çevrimdışı çıkarım sunuyor ve DeepSeek-V4.1-Flash modelini destekliyor. Şirket, modelin yüksek verim ve düşük gecikmeyle geniş ölçekte çalıştığını belirtiyor.

Sürümde hangi bileşenler var?

Kod, Apache 2.0 lisansıyla paylaşıldı ve açık kaynaklı vLLM projesi üzerine inşa edildi. Paket, DeepSeek’in FlashMLA, DeepGEMM ve DeepEP gibi özel çekirdeklerini, DSpark spekülatif kod çözmesini ve yapılandırılmış çıktı özelliklerini içeriyor. Şirket ayrıca API isteklerini modelin anlayacağı istemlere dönüştüren deepseek-recipe bileşenini de açtı. Böylece kendi sunucusunda model barındıranlar, DeepSeek’in resmi API’siyle aynı davranışı elde edebiliyor.

Nvidia ve Huawei desteği, eksik parçalar

DeepInfer, Nvidia SM100 GPU’larının yanı sıra Huawei Ascend 950 işlemcilerini de destekliyor. DeepSeek geçen hafta modellerini 2026 sonuna kadar yine bu Huawei çipinde ön eğitimden geçirmeyi planladığını duyurmuştu. Öte yandan sürüm eksiksiz bir hizmet sistemi değil: README dosyasına göre KV önbellek, prefill-decode ayrıştırması ve replikalar arası yük dengeleme yer almıyor. Bu yüzden yazılım, en çok halihazırda dağıtık çıkarım altyapısı işleten ekiplere fayda sağlayacak. Çin medyasındaki iddialara göre tek bir DeepSeek kümesi günde 155 trilyon token işliyor; bu rakam bağımsız olarak doğrulanmadı.