4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir. Bu farklılıklar hata ayıklamayı ve eğitim denetimlerini karmaşık hale getirir ve eğitim ile çıkarım motorlarının anlaşmazlığa düşmesine neden olabilir. MXFP4 eğitimini çalıştırmalar, paralellik düzenleri ve GPU satıcıları arasında bit düzeyinde değişmez hale getirmek için CertiSum'u sunuyoruz.
- 4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir.
- Bu farklılıklar hata ayıklamayı ve eğitim denetimlerini karmaşık hale getirir ve eğitim ile çıkarım motorlarının anlaşmazlığa düşmesine neden olabilir.
- MXFP4 eğitimini çalıştırmalar, paralellik düzenleri ve GPU satıcıları arasında bit düzeyinde değişmez hale getirmek için CertiSum'u sunuyoruz.
4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir.
02 Özet
4 bitlik bir mikro ölçeklendirme formatı olan MXFP4 ile eğitim belirleyici değildir: aynı girdiler, paralellik düzenleri ve GPU satıcıları arasında farklı sonuçlar üretebilir. Bu farklılıklar hata ayıklamayı ve eğitim denetimlerini karmaşık hale getirir ve eğitim ile çıkarım motorlarının anlaşmazlığa düşmesine neden olabilir. MXFP4 eğitimini çalıştırmalar, paralellik düzenleri ve GPU satıcıları arasında bit düzeyinde değişmez hale getirmek için CertiSum'u sunuyoruz. Temel içgörüsü, MXFP4 ürünlerinin yerel FP32 birikiminin genellikle her toplama sırası için zaten kesin olmasıdır. CertiSum, yerel matris çarpım sonuçlarını doğrulamak için niceleme sırasında istatistikler toplar, sertifikasız çıktıları tam olarak yeniden hesaplar ve sertifikasyonun nadiren başarılı olduğu durumlarda tam çekirdekleri doğrudan kullanır. CertiSum, niceleme bloklarını düzenlerde değiştirmeden tutar ve dikkat ve ağırlık gradyanı hesaplaması da dahil olmak üzere kısmi toplamları yuvarlama olmadan birleştirir. 200 adımlı Qwen3-8B-Base deneylerinde CertiSum, AMD MI350X ve NVIDIA GB200'de ve MI350X'teki veri, tensör ve bağlam paralelliğindeki değişikliklerde eğitim durumlarını bit parça korur. MI350X kullanan FineWeb-Edu üzerindeki üç 8B--14B modelinde, BF16'ya göre 1,24 ABD Doları ve deterministik BF16'ya göre 1,70 ABD Doları'na varan hızlanmalarla, daha büyük değerlendirilen giriş şekillerinde tam olmayan MXFP4 karşılığına göre eğitim adımı gecikmesine %11,8-60,5 ekler.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Training with MXFP4, a 4-bit microscaling format, is non-deterministic: identical inputs can produce different results across parallelism layouts and GPU vendors. These differences complicate debugging and training audits and can cause training and inference engines to disagree. We present CertiSum to make MXFP4 training bitwise invariant across runs, parallelism layouts, and GPU vendors. Its key insight is that native FP32 accumulation of MXFP4 products is often already exact for every summation order. CertiSum collects statistics during quantization to certify native matrix multiplication results, recomputes uncertified outputs exactly, and uses exact kernels directly where certification rarely succeeds. CertiSum keeps quantization blocks unchanged across layouts and merges partial sums without rounding, including in attention and weight-gradient computation. In 200-step Qwen3-8B-Base experiments, CertiSum preserves training states bit for bit across AMD MI350X and NVIDIA GB200 and across changes in data, tensor, and context parallelism on MI350X. Across three 8B--14B models on FineWeb-Edu using MI350X, it adds 11.8--60.5% to training-step latency relative to its non-exact MXFP4 counterpart at the larger evaluated input shapes, with speedups of up to $1.24times$ over BF16 and $1.70times$ over deterministic BF16.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{rhyner2026certisum,
title = {CertiSum: Bitwise-Identical MXFP4 Training Across Platforms and Parallelism Layouts},
author = {Steve Rhyner and Yubo Gao and Stefan de Lasa and Sankeerth Durvasula and Nandita Vijaykumar},
journal = {arXiv preprint arXiv:2611.21584},
year = {2026},
url = {https://arxiv.org/abs/2611.21584}
}
Rhyner, S., Gao, Y., Lasa, S. D., Durvasula, S., & Vijaykumar, N. (2026). CertiSum: Platformlar ve Paralellik Düzenleri Arasında Bit Bazında Özdeş MXFP4 Eğitimi. arXiv. https://arxiv.org/abs/2611.21584
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın