Tencent Hunyuan Hy4 Preview açık kaynak olarak yayınlandı. Çin’in en büyük teknoloji şirketlerinden Tencent, yeni nesil amiral gemisi yapay zeka modelini hem orijinal hem de FP8 ağırlıklarıyla Apache 2.0 lisansı altında sunuyor. Model, 770 milyar toplam parametre ve 49 milyar aktif parametre ile sektördeki en güçlü açık kaynak modellerinden biri olma iddiasında.
Hy4 Modelinin Temel Özellikleri
Tencent Hunyuan Hy4 Preview, şu özelliklerle öne çıkıyor:
- 770 milyar toplam parametre
- 49 milyar aktif parametre (MoE – Mixture of Experts)
- 1 milyon token bağlam uzunluğu
- Apache 2.0 lisansı ile tam açık kaynak
- Hem orijinal hem FP8 ağırlıkları mevcut
MoE mimarisi sayesinde model, her token için yalnızca 49 milyar parametre aktive ederek yüksek performansı daha düşük hesaplama maliyetiyle sunuyor.
Mimari Yenilikler
Tencent Hy4 mimarisi 78 katmanın 77’si MoE yapısında, her katmanda 256 yönlendirme uzmanı ve 1 paylaşımlı uzman bulunuyor. Her token için en iyi 8 uzman aktive ediliyor. Dikkat mekanizmasında Gated DSA ve IndexCache kullanılırken, artık yolaklar için iHC tercih edilmiş. Ayrıca spekülatif kod çözme için native MTP (Multi-Token Prediction) katmanı eklenmiş.
Benchmark Sonuçları
Tencent, 163 dahili uzmanla 203 gerçek mühendislik görevinde kör bir test gerçekleştirdi. Hy4 Preview ortalama 2.99/4 puan alırken, bu sonuç GLM-5.3’ün 2.92 ve Kimi K3’ün 2.94 puanını geride bıraktı.
Donanım Gereksinimleri
Modeli yerel olarak çalıştırmak için FP8 için 10-12 adet H100 veya 8 adet H200 gerekiyor. 4-bit/NVFP4 yaklaşık 390-430 GB bellek gerektirir.
Kaynak: Tencent Hunyuan (@TencentHunyuan), Max For AI (@MaxForAI)
Henüz yorum yok. İlk yorumu siz yapın!