NVIDIA, yapay zeka dünyasında model performansını değerlendirmek için kullanılan ARC-AGI-3 benchmark testinde, kendi geliştirdiği NVIDIA AVO kodlama aracısı ile yüzde 100 başarı oranına ulaştı. Şirket, AVO aracısını 25 farklı ortamda ve 183 ayrı seviyede test etti ve tümünü başarıyla tamamladı. Bu sonuç, model mimarisinin ötesinde, aracı sistemlerinin (agent harness) performans üzerindeki kritik rolünü bir kez daha gözler önüne serdi.
AVO Nedir ve Nasıl Çalışır?
NVIDIA AVO, başlangıçta GPU Çekirdek (Kernel) optimizasyonu için geliştirilmiş uzun süreli otonom bir aracı sistemidir. Alt model olarak Claude Opus 5 kullanıyor ve “persistent memory” (kalıcı bellek) özelliğine sahip. Bu sayede daha önce denediği çözümleri ve yürütme sonuçlarını saklayarak gereksiz tekraralardan kaçınıyor. Ayrıca bir Supervisor bileşeni, ana aracının belirli bir yönde ilerlemekte zorlandığını tespit ettiğinde, sistemi farklı bir arama yönüne yönlendiriyor.
GPU Kernel Optimizasyonunda Elde Edilen Sonuçlar
NVIDIA, AVO’yu yedi gün boyunca kesintisiz çalıştırdı ve 500’den fazla optimizasyon yönünü araştırdı. Sonuç olarak 40 farklı versiyon sunuldu. B200 çipinde gerçekleştirilen testlerde, AVO tarafından üretilen Attention Kernel, cuDNN‘den yüzde 3,5 ve FlashAttention-4‘ten yüzde 10,5 daha hızlı performans gösterdi. Bu kazanımlar, yapay zeka eğitim ve çıkarım süreçlerinde doğrudan maliyet ve hız avantajları sağlıyor.
ARC-AGI-3 Testi: %100 Başarı mı, Yoksa Sınırlı Bir Başarı mı?
NVIDIA’nın yaptığı test, ARC-AGI-3‘ün kamuya açık (public) test setinde gerçekleştirildi. Aracıya 64×64 boyutunda bir metin ızgarası verildi ve hangi eylemleri kullanabileceği bildirildi; ancak bu eylemlerin ne işe yaradığı, oyun kuralları veya kazanma koşulları açıklanmadı. AVO, toplamda 6.624 çevresel eylem kullanarak 183 seviyenin tamamını tamamladı.
Dikkat çekici bir ayrıntı: ARC Prize organizasyonu, Claude Opus 5 High reasoning modelinin yalnızca standart yapılandırmayla kamuya açık demoda yaklaşık yüzde 30 başarı elde ettiğini açıklamıştı. AVO harness sistemi ile bu oran yüzde 100’e çıktı. Aynı model, farklı bir aracı sistemiyle tamamen farklı sonuçlar üretebiliyor.
Bununla birlikte, ARC Prize yetkilileri uyarıyor: Kamuya açık test setindeki sonuçlar, resmi ARC-AGI-3 değerlendirmesi için doğrudan gösterge olarak kabul edilemez. Public set uzun süre erişime açık kaldığı için, geliştiriciler harness ve stratejilerini sürekli iyileştirebiliyor; hatta bazı Human Replay sistemleri public sette yüzde 100’e ulaşabiliyor. Resmi değerlendirme, Semi-private ve Private Set üzerinden yapılacak.
Sonuç ve Değerlendirme
Bu gelişme, yapay zeka alanında önemli bir paradigma değişimini işaret ediyor. Artık sadece model mimarisine değil, yapay zeka sistemlerinin çevresindeki araç ve harness yapılarına da büyük önem verilmesi gerekiyor. NVIDIA’nın AVO sistemi, bu yaklaşımın somut bir örneği olarak öne çıkıyor.
Daha fazla bilgi için AI Haber Ana Sayfa ve Agent Sistemi sayfalarımızı ziyaret edebilirsiniz.
Henüz yorum yok. İlk yorumu siz yapın!