Google, 20 Ekim Salı günü PyTorch için geliştirdiği yerel arka uç TorchTPU’yu açık kaynak olarak yayımladı. Amazon’un bir gün önce tanıttığı benzer aracın ardından gelen adım, yapay zekâ geliştiricilerini Nvidia’nın grafik işlemcilerinden kendi çiplerine çekmeyi amaçlıyor. İki şirket de aynı yazılım engelini hedefliyor.

TorchTPU ne yapıyor?

PyTorch, yapay zekâ modelleri oluşturmak ve çalıştırmak için en yaygın kullanılan açık kaynaklı çerçevelerden biri. Bazı hesaplamalara göre yapay zekâ uygulamalarının yaklaşık yüzde 85’i bu çerçeveyi kullanıyor. TorchTPU, mevcut PyTorch kodunun Google’ın özel yapay zekâ çipleri olan Tensor İşlem Birimlerinde (TPU) çalışmasını sağlıyor. Google’a göre geliştiriciler uygulamalarını baştan yazmadan, yalnızca basit bir yapılandırma değişikliğiyle Google Cloud’a taşıyabiliyor. Bu, geçişin önündeki en büyük engellerden birini kaldırıyor.

Nvidia’nın yazılım avantajı neden önemli?

PyTorch’u 2016’da Meta geliştirdi ve 2022’de Linux Vakfı’na devretti. Çerçeve geliştirildiği dönemde Nvidia grafik işlemcileri yapay zekâ araştırmalarının standart donanımıydı. Bu yüzden birçok özellik doğrudan Nvidia donanımı düşünülerek yazıldı. Sonuç olarak yapay zekâ uygulamalarının büyük bölümü varsayılan olarak Nvidia çiplerine bağımlı kaldı. Amazon ve Google’ın hamleleri bu bağımlılığı gevşetmeyi hedefliyor. Ancak geçişin kolaylaşması, geliştiricilerin Nvidia’yı hemen bırakacağı anlamına gelmiyor.

Amazon’dan farkı ne?

Amazon, 19 Ekim’de benzer bir araç olan TorchNeuron’u duyurmuş ve Trainium çiplerinde kod yeniden yazmadan çalışma imkânı sunmuştu. Şirket ayrıca PyTorch’un ana projesine, birçok özelliği Nvidia çiplerinden ayıran kod katkıları da gönderiyor. Google ise Meta, Hugging Face, vLLM’in geliştiricisi Inferact ve SGLang’ı geliştiren RadixArk gibi ortaklarla çalıştığını belirtti. Amaç, TorchTPU’nun özelliklerinin ve kütüphanelerinin orijinal PyTorch’taki gibi bu araçlarla uyumlu olması. Google ayrıca uygulamaları TPU’ya taşımaya ve hataları ayıklamaya yardım eden bir TPU ajan paketi yayımladı. Telefon, dizüstü ve gömülü cihazlarda yapay zekâ çalıştıran LiteRT aracı da PyTorch ile daha uyumlu hale getirildi.