Amazon, kendi geliştirdiği Trainium yapay zekâ çiplerini PyTorch ile çalışan tüm geliştiricilere açtı. Şirketin TorchNeuron adlı yazılımı, mevcut PyTorch kodunun yeniden yazılmadan Trainium üzerinde çalışmasını sağlıyor. Hamle, Nvidia’nın yazılım alanındaki uzun süreli üstünlüğüne doğrudan meydan okuyor.

TorchNeuron ile tek ayarla geçiş

Amazon’un çip birimi Annapurna Labs’in geliştirdiği TorchNeuron, geçen yılın sonlarından beri özel beta aşamasındaydı. Şirket yazılımı 19 Ekim’de genel beta olarak herkese açtı ve 20 Ekim’de PyTorch Conference North America’da Apache 2.0 lisansıyla açık kaynak yayımlayacağını duyurdu. Araç Trainium2 ve Trainium3 çiplerini destekliyor. Şimdiye kadar geliştiriciler, kodlarını Amazon’un çiplerine özel arayüzlere uyarlamak zorundaydı. TorchNeuron ise PyTorch’un yeni donanım tanıtmak için sunduğu yerleşik sistemi kullanıyor ve tek bir yapılandırma değişikliğiyle çalışıyor.

Annapurna Labs yöneticisi Colin Brace, “PyTorch biliyorsanız, Trainium’u da biliyorsunuz” diyerek yaklaşımı özetledi. Test, hata ayıklama ve ölçeklendirme gibi mevcut araçlar da değişiklik gerektirmeden çalışıyor. Yazılım ayrıca PyTorch’un dağıtık eğitim çerçevesi TorchTitan ile uyumlu.

Nvidia’nın CUDA avantajı hedefte

Yapay zekâ geliştiricilerinin büyük bölümü Meta tarafından yönetilen PyTorch çerçevesini kullanıyor. Nvidia ise PyTorch kodunun kendi çiplerinde verimli çalışmasını sağlayan CUDA platformunu on yıldan uzun süredir geliştiriyor. Kodu başka donanımlara taşımak aylar süren mühendislik çalışması gerektirebiliyor; bu da pek çok şirketin geçiş yapmasını engelliyordu. Amazon, bu engeli kaldırmayı hedefliyor.

Rakipler de benzer yollara giriyor. Google, PyTorch’u kendi TPU çiplerinde yerel olarak çalıştırmak için TorchTPU üzerinde çalışıyor. Microsoft ise geçen hafta yapay zekâ hizmetlerinin büyük bölümünü kendi Maia çiplerine taşıma planını açıkladı.

Güvenilirlik ve ilk müşteriler

Amazon, aracı her gece Hugging Face’teki 100 binden fazla modelle test ediyor. Şirket ayrıca çerçevenin belirli çiplere bağlanmasına yol açan kodları temizlemek için PyTorch’a değişiklik önerileri gönderdi. Robotik, dünya modelleri ve ses yapay zekâsı alanlarında çalışan 30’dan fazla erken dönem müşteri yazılımı kullanıyor. Konuşma yapay zekâsı girişimi Deepgram, kendi testlerinde Trainium’un GPU altyapısına kıyasla dolar başına yaklaşık yüzde 60 daha fazla ses işlediğini bildirdi.

Trainium’un bugüne kadarki en büyük kullanıcıları arasında Anthropic ve OpenAI var. Amazon CEO’su Andy Jassy, Nisan ayında şirketin çip işinin yıllık gelir hızının 20 milyar doları aştığını yazmıştı. Brace’e göre amaç, müşterilere her zaman seçenek sunmak.