NVIDIA, çıkarım (inference) hızlandırma alanında çığır açan bir ürünle sahne aldı. Şirketin Groq 3 LPX çözümü, Vera Rubin platformuna entegre edilmiş özel bir token üretim hızlandırıcısı olarak tam üretim aşamasına ulaştı. Yeni çip, Gemma 4 31B modelinde 100.000 token bağlam uzunluğuyla saniyede 3.400 çıktı token hızına ulaşarak bu modelde şimdiye kadarki en yüksek performans sonucunu elde etti.
Yapay Zeka Çıkarım Hızında Yeni Standart
Artificial Analysis benchmark testlerinde elde edilen bu sonuç, NVIDIA Groq 3 LPXin en yakın rakip platforma kıyasla 4 kat daha hızlı yanıt süresi sağladığını iddia etmesini destekliyor. Bu performans, özellikle ajan (agent) iş yükleri ve gecikme süresine duyarlı uygulamalar için kritik önem taşıyor.
Nebius İlk Dağıtımcı Olacak
Nebius, Groq 3 LPXi Token Fabrikası üzerinden kullanıma sunacak ilk yapay zeka bulut sağlayıcısı olacak. Ardından Groqun kendisi bu teknolojiyi sunan ikinci platform olacak. Bu gelişme, NVIDIAnın yapay zeka altyapısı ekosistemi içindeki stratejik ortaklıklarını derinleştiriyor.
NVIDIAnın Çıkarım Stratejisi
Groq 3 LPX lansmanı, NVIDIAnın yalnızca GPU üreticisi olmadığını, aynı zamanda yapay zeka çıkarım altyapısında da lider olmak istediğini gösteriyor. Şirket son aylarda Groq, Poolside ve Perplexity gibi yapay zeka şirketlerine yatırımlarla bu alandaki konumunu güçlendiriyor.
Intelligence too fast to meter Groq 3 LPX, gerçek zamanlı yapay zeka uygulamalarında artık hız sınırının olmadığı bir dönemin kapılarını aralıyor.
Kaynak: @kimmonismus / X
Henüz yorum yok. İlk yorumu siz yapın!