AI agentlarinin internet erisimiyle ilgili yeni bir benchmark yayinlandi ve sonuclar oldukca cekince uretiyor. Yapilan testlerde, en iyi AI arama motorlari internetin yalnizca yuzde 75ini bulabiliyor. Google API’si ise yuzde 53 oraninda kaliyor.
NEEDLE Benchmark: Ne Oluyor?
Yeni benchmark NEEDLE adini tasiyor ve AI sistemlerinin canli web verilerine erisimini test ediyor. Standart benchmarklardan farkli olarak, bu testler gunluk olarak degisen gercek web verilerini kullaniyor; boylece kimse yanitlari ezberleyemiyor.
En Zor Sorgularda Yuzde 50 Kayip
Testlerin en zorlu sorgularinda, en iyi performans gosteren sistemler bile yuzde 50ye yakini bulamiyor. Bu, AI agentlarinin web uzerinden bilgi toplamada ciddi sinirlamalarla karsi karsi oldugunu gosteriyor.
Simdiye kadar herkes hangi modelin en zeki oldugu tartisiyordu. Oysa asil sorun modelin kendisinde degil — arama katmaninda.
AI Developerlar Icin Kritik Sonuc
Benchmark sonuclari, AI developerlar icin onemli bir ders veriyor: Model seciminden once arama katmanini duzeltmek gerekiyor. Iyi bir LLM, iyi bir arama entegrasyonu olmadan yari yariya kapasite kaybi yasiyor.
Sonuc: Gorunurluk Krizi
Benchmarkin ortaya koydugu tablo net: AI agentlar webin dortte birini goremiyor. Bu sayi, AI sistemlerinin internet tabanli gorevlerdeki guvenilirligini sorgulatiyor. Developerlar icin ders bellikod: Prompt optimizasyonundan once arama altyapisi.
Henüz yorum yok. İlk yorumu siz yapın!