NVIDIA, GPT-6 Astra Ultrafast’in Blackwell GPU’larda ve OpenAI’nin modelleri üzerinden süren çıkarım iyileştirmeleriyle kod üretimi, araç kullanımı ve etkileşimli uygulamalarda daha hızlı yanıt verdiğini duyurdu. Şirkete göre Ultrafast, Astra Standard moda kıyasla belirteç üretiminde 8 kata kadar hızlı. Mod şu an OpenAI API’de ve uygun ChatGPT Work ile Codex kullanıcılarında.
Neden hız
NVIDIA, kazancın ajan bir iş akışında tekrarlandığında anlamlı olduğunu yazıyor: kod yazma, araç çağırma, sonucu kontrol etme ve sonraki adım. Ultrafast’in Astra’nın yeteneklerini bu zaman duyarlı döngülere taşıdığını belirtiyor. Ayrıntılı erişim, fiyat ve uygulama notları için OpenAI belgelerine yönlendiriyor; bu NVIDIA yazısında fiyat tablosu yok.
Kim ne dedi
OpenAI çıkarım lideri Philippe Tillet, NVIDIA’nın araç ve belge yatırımının modelleri Blackwell ve Rubin GPU’ları programlamada iyi hâle getirdiğini, Astra’nın bu bilgiyi gecikme, verim ve maliyet sınırında çekirdeklere çevirdiğini söylüyor. OpenAI hesaplama CTO’su Uday Ruddarraju ise iç modellerle NVIDIA GPU’larında çıkarımı iyileştirdiklerini ve Ultrafast’in arkasındaki hızlanmayı NVIDIA’nın programlanabilirliğinin taşıdığını belirtiyor. NVIDIA, performans işinin model yayına alındıktan sonra da sürdüğünü, OpenAI’nin kendi modelleriyle çıkarım yazılımını iyileştirdiğini ekliyor.
Kaynak: NVIDIA Blog — How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast
Henüz yorum yok. İlk yorumu siz yapın!