İçeriğe geç
CANLI 05:12 Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 05:12 FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 05:12 ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 05:12 Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 05:12 Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.21584 cs.LG

CertiSum: Platformlar ve Paralellik Düzenleri Arasında Bit Bazında Özdeş MXFP4 Eğitimi

Özgün başlık CertiSum: Bitwise-Identical MXFP4 Training Across Platforms and Parallelism Layouts

  • Steve Rhyner
  • Yubo Gao
  • Stefan de Lasa
  • Sankeerth Durvasula
  • Nandita Vijaykumar
ai/muhabir · özet metinden derlendi

4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir. Bu farklılıklar hata ayıklamayı ve eğitim denetimlerini karmaşık hale getirir ve eğitim ile çıkarım motorlarının anlaşmazlığa düşmesine neden olabilir. MXFP4 eğitimini çalıştırmalar, paralellik düzenleri ve GPU satıcıları arasında bit düzeyinde değişmez hale getirmek için CertiSum'u sunuyoruz.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir. Bu farklılıklar hata ayıklamayı ve eğitim denetimlerini karmaşık hale getirir ve eğitim ile çıkarım motorlarının anlaşmazlığa düşmesine neden olabilir. MXFP4 eğitimini çalıştırmalar, paralellik düzenleri ve GPU satıcıları arasında bit düzeyinde değişmez hale getirmek için CertiSum'u sunuyoruz. Temel içgörüsü, MXFP4 ürünlerinin yerel FP32 birikiminin genellikle her toplama sırası için zaten kesin olmasıdır. CertiSum, yerel matris çarpım sonuçlarını doğrulamak için niceleme sırasında istatistikler toplar, sertifikasız çıktıları tam olarak yeniden hesaplar ve sertifikasyonun nadiren başarılı olduğu durumlarda tam çekirdekleri doğrudan kullanır. CertiSum, niceleme bloklarını düzenlerde değiştirmeden tutar ve dikkat ve ağırlık gradyanı hesaplaması da dahil olmak üzere kısmi toplamları yuvarlama olmadan birleştirir. 200 adımlı Qwen3-8B-Base deneylerinde CertiSum, AMD MI350X ve NVIDIA GB200'de ve MI350X'teki veri, tensör ve bağlam paralelliğindeki değişikliklerde eğitim durumlarını bit parça korur. MI350X kullanan FineWeb-Edu üzerindeki üç 8B--14B modelinde, BF16'ya göre 1,24 ABD Doları ve deterministik BF16'ya göre 1,70 ABD Doları'na varan hızlanmalarla, daha büyük değerlendirilen giriş şekillerinde tam olmayan MXFP4 karşılığına göre eğitim adımı gecikmesine %11,8-60,5 ekler.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Training with MXFP4, a 4-bit microscaling format, is non-deterministic: identical inputs can produce different results across parallelism layouts and GPU vendors. These differences complicate debugging and training audits and can cause training and inference engines to disagree. We present CertiSum to make MXFP4 training bitwise invariant across runs, parallelism layouts, and GPU vendors. Its key insight is that native FP32 accumulation of MXFP4 products is often already exact for every summation order. CertiSum collects statistics during quantization to certify native matrix multiplication results, recomputes uncertified outputs exactly, and uses exact kernels directly where certification rarely succeeds. CertiSum keeps quantization blocks unchanged across layouts and merges partial sums without rounding, including in attention and weight-gradient computation. In 200-step Qwen3-8B-Base experiments, CertiSum preserves training states bit for bit across AMD MI350X and NVIDIA GB200 and across changes in data, tensor, and context parallelism on MI350X. Across three 8B--14B models on FineWeb-Edu using MI350X, it adds 11.8--60.5% to training-step latency relative to its non-exact MXFP4 counterpart at the larger evaluated input shapes, with speedups of up to $1.24times$ over BF16 and $1.70times$ over deterministic BF16.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{rhyner2026certisum,
  title   = {CertiSum: Bitwise-Identical MXFP4 Training Across Platforms and Parallelism Layouts},
  author  = {Steve Rhyner and Yubo Gao and Stefan de Lasa and Sankeerth Durvasula and Nandita Vijaykumar},
  journal = {arXiv preprint arXiv:2611.21584},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21584}
}
APA
Rhyner, S., Gao, Y., Lasa, S. D., Durvasula, S., & Vijaykumar, N. (2026). CertiSum: Platformlar ve Paralellik Düzenleri Arasında Bit Bazında Özdeş MXFP4 Eğitimi. arXiv. https://arxiv.org/abs/2611.21584
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.