Microsoft AI, 15 Ekim 2026 tarihli teknik yazısında MAI-Base-2 ön eğitimini tamamladığını açıkladı. Model, MAI-Base-1 üzerine kurulu MAI-Thinking-1’in ardından gelen yeni taban: 80 milyar aktif / 2,8 trilyon toplam parametreli MoE. Şirket, tutulan (held-out) değerlendirmelerde test ettiği tüm açık ağırlık taban modellerinden daha düşük bits-per-byte aldığını; en güçlü açık taban DeepSeek-V4-Pro-Base’e göre ön eğitimde 4–12× daha FLOPs-verimli olduğunu (Şekil 3) yazıyor.
Eğitim ölçeği ve veri
Eğitim Ağustos–Eylül 2026’da 16 bin GB200 GPU’da 38 gün sürdü; ortalama MFU yüzde 21, goodput yüzde 89. Ölçek merdivenleri (source scaling), her katmanda MoE, Muon eniyileştirici ve aktivasyon gradyan kırpma gibi altyapı–model ortak tasarım adımları anlatılıyor. MAI-Base-1’e göre benzersiz eğitim token’ı kabaca yüzde 36 büyümüş; bilgi kesiti web için Mart 2026. Encoder-free VLM mimarisiyle yerel görü; VLM derlemi 4,5T benzersiz token ve tekrarlarla 50T’lik karışımın yüzde 18’i. Organik veri vurgusu: başka modellerden distilasyon yok; Foundry üzerinden güvenilir ortaklara ağırlık lisanslama hedefi belirtiliyor. Model şu an son eğitim (post-training) aşamasında; MAI-Base-3 hazırlıkları da başladığı yazıyor.
Henüz yorum yok. İlk yorumu siz yapın!