NVIDIA Nemotron Nano 2 Çıktı – NVIDIA’nın Verimli Çıkarım Modeli

NVIDIA Nemotron Nano 2 nedir?

NVIDIA Nemotron Nano 2, NVIDIA’nın 9 milyar parametreli yüksek verimli bir çıkarım modelidir. Hibrit Mamba-Transformer mimarisine dayanan model, 20 trilyon belirteç üzerinde önceden eğitilmiştir ve 128 KB’lık bir bağlam uzunluğunu destekler. Qwen3-8B ile karşılaştırıldığında, benzer veya daha yüksek bir doğruluğu korurken çıkarım hızında 6 kat artış sağlar. Model ayrıca, kullanıcıların çıkarım belirteçlerinin sayısını belirlemelerine olanak tanıyan kullanıcı tanımlı bir çıkarım bütçesine sahiptir. NVIDIA, daha fazla araştırma ve uygulamayı kolaylaştırmak için temel modeli ve önceden eğitilmiş veri kümelerinin çoğunu açık kaynaklı hale getirmiştir.

NVIDIA Nemotron Nano 2’nin Temel Özellikleri

• Yüksek verim : NVIDIA Nemotron Nano 2, Qwen3-8B’nin 6 katına kadar daha fazla verimle karmaşık çıkarım görevlerinde üstün performans gösterir.
• Uzun bağlam desteği : 128k’lık bir bağlam uzunluğunu destekler ve tek bir NVIDIA A10G GPU’da çıkarım için kullanılabilir, bu da onu uzun metinleri ve karmaşık görevleri işlemek için uygun hale getirir.
• Muhakeme süreci desteği : Model, nihai cevabı üretmeden önce bir muhakeme izi oluşturur ve kullanıcı modelin “düşünme” bütçesini belirleyebilir.
• Esnek çıktı modu : Kullanıcılar ara muhakeme adımlarını atlayıp doğrudan nihai cevaba ulaşmayı seçebilirler.
• Çok dilli yetenekler : Ön eğitim veri seti, güçlü çok dilli akıl yürütme yeteneklerini destekleyen birden fazla dilde veri içerir.
• Çoklu alan kapsamı : Matematik, kod, akademik, STEM vb. gibi birden fazla alandan gelen verileri kapsar ve çeşitli uygulama senaryolarına uygundur.

NVIDIA Nemotron Nano 2’nin teknik prensipleri

• Hibrit Mamba-Transformatör Mimarisi : Bu mimari, geleneksel Transformatör’deki öz-dikkat katmanlarının çoğunu Mamba-2 katmanlarıyla değiştirerek, özellikle uzun çıkarım zincirleri oluştururken çıkarım hızını önemli ölçüde artırır. Bazı öz-dikkat katmanları Transformatör katmanları içinde tutularak modelin esnekliği ve doğruluğu korunur.
• Ön eğitim : FP8 hassasiyeti ve Isınma-Kararlı-Azalma öğrenme hızı çizelgesini kullanarak 20 trilyon token üzerinde ön eğitim gerçekleştirdik. Uzun bir bağlam genişletme aşamasıyla ön eğitime devam ederek, modelin diğer kıyaslama testlerindeki performanstan ödün vermeden 128k’ya kadar bağlam uzunluklarını işleyebilmesini sağladık.
• Eğitim sonrası optimizasyon : Gözetimli ince ayar (SFT), modeli belirli görevlerdeki performansını iyileştirmek için ince ayarlar. Politika optimizasyonu, modelin talimatları takip etme yeteneğini geliştirir. Modelin tercihlerini insan tercihleriyle daha iyi uyumlu hale getirmek için optimize eder. Öğrenmeyi insan geri bildirimleriyle pekiştirmek, modelin konuşma ve talimat takip yeteneklerini geliştirir.
• Model Sıkıştırma : Budama ve bilgi damıtma teknikleri kullanılarak, 12 milyar parametreli temel model, model performansı korunarak 9 milyar parametreye sıkıştırıldı. Optimize edilmiş model, tek bir NVIDIA A10G GPU üzerinde 128 bin jetonun bağlamsal akıl yürütmesini destekleyerek çıkarım maliyetlerini önemli ölçüde azalttı.
• Çıkarım Bütçesi Kontrolü : Kesikli eğitime dayanan model, kullanıcı tarafından belirlenen bir “düşünme” bütçesi dahilinde çıkarımlar gerçekleştirebilir ve gereksiz hesaplamalardan kaçınabilir. Kullanıcılar, çıkarım sürecini görüntülemeyi veya nihai cevabı doğrudan almayı seçerek modelin çıkarım sürecini esnek bir şekilde kontrol edebilirler.

NVIDIA Nemotron Nano 2 proje adresi

• Proje web sitesi : https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
• HuggingFace model kütüphanesi : https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
• Teknik makale : https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
• Demoyu çevrimiçi deneyimleyin : https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2

NVIDIA Nemotron Nano 2 için Uygulama Senaryoları

• Eğitim : Eğitim alanında, öğrencilerin karmaşık matematik ve fen problemlerini çözmelerine yardımcı olur. Karmaşık matematik formüllerini veya fizik yasalarını adım adım akıl yürütme yoluyla açıklayarak, öğrencilerin bilgiyi daha iyi anlamalarına ve özümsemelerine yardımcı olur.
• Akademik araştırma : Araştırmacılar akademik araştırmalar yürütür, ayrıntılı akıl yürütme süreçleri ve analiz raporları oluşturur ve makale yazımına ve deney tasarımına yardımcı olurlar.
• Yazılım Geliştirme : Geliştiriciler, kodu hızlı bir şekilde geliştirmeye ve optimize etmeye yardımcı olmak için yüksek kaliteli kod parçacıkları üretir.
• Programlama eğitimi : Programlama eğitiminde modeller, yeni başlayanların programlama dillerini ve algoritmaları daha iyi anlamalarına yardımcı olmak için kod örnekleri ve açıklamalar sağlar.
• Müşteri Hizmetleri : Müşteri hizmetleri alanında, müşterilere etkili ve doğru destek sağlamak için çok dilli bir chatbot görevi görür.