Google ve Meta‘nın PyTorch ekibi, Google’ın yapay zekâ hızlandırıcıları TPU’lar için yerel bir PyTorch arka ucu olan TorchTPU‘yu açık kaynak olarak duyurdu. PyTorch blogundaki tanıtıma göre proje Google’da 2025 ortasında başladı ve Meta ile birlikte geliştirildi. Amaç, PyTorch iş yüklerinin TPU’larda kod değişikliği gerektirmeden, “kutudan çıktığı gibi” çalışması.
PyTorch/XLA’dan farkı ne?
Google, 2020’de Lazy Tensor tabanlı PyTorch/XLA ile PyTorch’u TPU’ya taşımıştı. Ekip, bu yaklaşımın kaynak kodda müdahale gerektirdiğini, derleme sürelerinin uzun olduğunu, PyTorch’un “eager” çalışma modunu desteklemediğini ve yeni dağıtık hesaplama özelliklerinde geride kaldığını kabul ediyor. TorchTPU ise PyTorch’un kendi kurallarına göre tasarlanmış: çalışma zamanında JAX bağımlılığı yok, eager mod önceliklendiriliyor, torch.compile Torch Dynamo üzerine kurulu ve DDP, FSDP, DTensor gibi dağıtık PyTorch kalıpları en alt seviyede TPU kolektifleriyle destekleniyor.
Pratikte bir modeli TPU’ya taşımak model.to("cuda") yerine model.to("tpu") yazmak kadar basit. Google, bunun en yüksek performansı otomatik getirmeyeceğini, çünkü şekillerin ve parçalama düzeninin GPU’ya göre ayarlanmış olabileceğini; ancak modelin en azından çalışacağını vurguluyor.
Şu ana kadar neler yapıldı?
- Eager ve derlenmiş modlar; yeni DeferAndFuse eager modu, Google’a göre katı eager moddan yüzde 50 veya daha fazla hızlı ve bellek kullanımını azaltıyor.
- Yaklaşık 450 ATen operatörü desteği; JAX/Pallas ve Helion DSL ile özel çekirdek yazabilme.
- En çok indirilen yaklaşık 5.000 Hugging Face modelinde test: 4.917 modelin yüzde 98’i (4.821) hatasız çalıştı; 657 temsilî mimari modelin yüzde 97’sinde GPU ile sayısal denklik sağlandı.
- vLLM, SGLang, TorchTitan, Ray ve TorchRec entegrasyonları doğrulandı.
Performans örnekleri
Blogda, yalnızca standart PyTorch modülleriyle yazılmış 30 milyar parametreli bir Muse Glimmer modeli örnek veriliyor. Google’a göre tek TPUv7 çipinde 5.120 dizi uzunluğunda prefill için saniyede yaklaşık 25.700 token ve yüzde 59 MFU elde edildi. Dört TPUv7 çipinde FSDP ile eğitimde çip başına saniyede yaklaşık 5.600 token ve yüzde 38 MFU raporlanıyor. Qwen3 235B MoE ile yapılan testte, 64 TPU v7 üzerinde TorchTitan/PyTorch’un saniyede 1.828 token, JAX/MaxText’in 1.937 token ürettiği, yani performansın birbirine yakın olduğu belirtiliyor. Rakamlar Google’ın kendi ölçümleri.
Durum ve yol haritası
TorchTPU aktif geliştirme aşamasında; Google’a göre bazı büyük Google Cloud müşterileri tarafından hem çıkarım hem eğitim için üretimde kullanılıyor. Ekip, Ekim 2026 PyTorch Konferansı’nda TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU ve TorchTitan olmak üzere dört temel depoyu açtığını söylüyor. Önümüzdeki 6–12 ay için öncelikler arasında dinamik şekil desteğinin olgunlaştırılması, TPUv8 için FP8/FP4 nicemleme, pod ölçeğinde pekiştirmeli öğrenme döngüleri ve hata ayıklama araçları var. Bilinen bir sınırlama da şu: Bir TPU’ya aynı anda yalnızca tek bir kullanıcı süreci erişebildiği için RL’de aynı cihazı paylaşma senaryosu şimdilik doğrudan desteklenmiyor.
Henüz yorum yok. İlk yorumu siz yapın!