AWS, kendi yapay zekâ çipi Trainium için açık kaynak, yerel bir PyTorch arka ucu olan TorchNeuron‘u PyTorch blogunda duyurdu. Amaç, geliştiricilerin halihazırda kullandığı model kodunu, kütüphaneleri ve araçları Trainium üzerinde değiştirmeden çalıştırabilmesi. TorchNeuron, Apache 2.0 lisansıyla github.com/aws-neuron/torch-neuronx adresinde açık kaynak olarak yayımlanacak ve 20 Ekim’de PyTorch Conference North America’da genel beta olarak kullanıma açılacak.
Trainium artık standart bir PyTorch cihazı
TorchNeuron, PyTorch topluluğunun özel donanımlar için oluşturduğu resmi genişleme noktası PrivateUse1 ve torch.accelerator API’leri üzerine kuruluyor. Böylece torch.nn, torch.autocast, torch.distributed ve torch.profiler gibi standart API’ler “neuron” cihazında yazıldığı gibi çalışıyor. Bir modeli Trainium’a taşımak için tek değişiklik .to(‘neuron’) çağrısı; derlenmiş modeller için arka ucun bir kez torch.compiler.set_default_backend(“neuron”) ile belirtilmesi yeterli. Destek Trainium2 ve Trainium3’ü kapsıyor.
Çalışma modları ve yetenekler
- Eager mod: Araştırma ve hata ayıklama için işlemleri anında çalıştırıyor; Python kontrol akışı, print ve breakpoint’ler derleme adımı olmadan çalışıyor. Deneysel adaptive eager modu, kod değişikliği olmadan işlemleri birleştirip başlatma maliyetini azaltmayı hedefliyor.
- torch.compile: Üretim için modeli Neuron derleyicisinin optimize ettiği bir grafiğe dönüştürüyor (TorchDynamo → AOTAutograd → Torch-MLIR → StableHLO → NEFF). FlexAttention yerel olarak destekleniyor; vLLM Neuron ve vLLM Omni Neuron eklentileri de bu altyapıyı kullanıyor.
- Veri tipleri: BF16, FP32, FP16, tamsayı ve boolean; TorchAO ve FP8 şimdilik özel beta, bir sonraki sürümde genel kullanıma açılacak.
- Dağıtık eğitim: DDP, FSDP2, SimpleFSDP, tensör ve boru hattı paralelliği, DTensor ve DeviceMesh destekleniyor. Kolektif işlemler düğüm içinde Trainium’un özel kolektif çekirdeklerinde, düğümler arasında Elastic Fabric Adapter (EFA) üzerinden çalışıyor.
- NKI: Neuron Kernel Interface ile özel çekirdekler yazılabiliyor; FlashAttention ve MoE blok çekirdekleri gibi optimize operatörler açık kaynak NKI-lib içinde sunuluyor.
- Profil çıkarma: Standart torch.profiler, Neuron’a özel NeuronConfig ile genişletiliyor; izler Neuron Explorer arayüzünde kaynak satırına kadar izlenebiliyor ve Parquet çıktısı ajanlarla otomatik darboğaz analizi için de kullanılabiliyor.
Müşteriler ve ortaklar
AWS’ye göre TorchNeuron otonom araçlardan robotiğe, video üretiminden sağlık ve jeo-uzamsal modellemeye kadar farklı alanlarda kullanılıyor. Deepgram CTO’su Adam Sypniewski, değerlendirdikleri benchmark’larda Trainium’un mevcut GPU referanslarına göre dolar başına yaklaşık yüzde 60 daha fazla girdi ses saniyesi işlediğini söyledi. Cartesia kurucu ortağı Arjun Desai, standart çıkarım hattını PyTorch kodunda asgari değişiklikle çalıştırabildiklerini; Hugging Face Ürün Başkan Yardımcısı Jeff Boudier ise TorchNeuron’un Trainium’u Transformers ve Diffusers için yerel bir arka uç hâline getirdiğini belirtti. Anyscale, Decart, Modular, Nota AI ve Wafer gibi şirketler de ortaklar arasında sayılıyor. TorchTitan desteği ise torchtitan-neuron deposu üzerinden sunuluyor.
Meta’nın PyTorch Mühendislik Direktörü Jana van Greunen, PyTorch’un vizyonunun geliştiricilere donanım platformları arasında tutarlı bir deneyim sunmak olduğunu ve Trainium’a yerel desteğin bu seçimi genişlettiğini söyledi.
Henüz yorum yok. İlk yorumu siz yapın!