Epoch AI, The plunging price of intelligence raporunda belirli bir AI performans seviyesine ulaşma maliyetinin son üç yılda çeyreklik ortalama yaklaşık %47 (yıllık ~13×) düştüğünü tahmin ediyor. Yazarlar Luke Emberson ve David Roodman; matematik, doğa bilimleri ve beceri oyunlarını kapsayan beş ana benchmark kullanılmış.
Bulgular
Alanlara göre hız değişiyor: oyun tabanlı bulmacalarda çeyreklik ~%39–43, matematikte ~%50–52. Yeni SOTA seviyesinde maliyet düşüşü ortalama çeyreklik %66 (~75×/yıl); iki yıl sonra yaklaşık %32 (~4,7×/yıl). Daha kaba kanıtlarla eğilimin Kasım 2021’deki ticari LLM çıkarımı başlangıcından beri en az bu hızda olabileceği tartışılıyor.
Sınırlar
Rapor benchmaxxing, benchmark’ın gerçek iş değeriyle bire bir olmaması, kullanıcıların sürekli maliyet sınırında model değiştirmemesi ve kısa/ gürültülü veri gibi kısıtları açıkça listeliyor. Veri ve kod GitHub’da paylaşılmış.
Henüz yorum yok. İlk yorumu siz yapın!