Context Compactor Benchmark: Gorev Tamamlama Korunurken Geri Alma 3 Kat Artabiliyor

Yeni bir araştırma, bağlam sıkıştırıcıların (context compactor) görev tamamlama oranlarını korurken ciddi bir saklı maliyet taşıdığını ortaya koydu. Araştırma, 24 turlu bir araç kullanan aracıda geri alma çağrılarının 3 katına çıktığını gösterdi.

AI context compactor benchmark sonuçları, sıkıştırma teknolojisinin gerçek maliyetini görünür kılıyor. Görev tamamlama yüzde 80’den 85’e yükselirken, geri alma çağrıları 21’den 63.9’a fırladı.

Context Compactor Sakli Maliyeti

Context compactor’lar, yapay zeka aracılarının baglam uzunlugunu yonetmek icin kullanılıyor. Ancak yeni benchmark sonucları, bu yaklasimin beklenen verimlilik iyileştirmelerini gizlediğini ortaya koyuyor.

Araştırma, 24 turlu sinirli bir aracıda GPT-5.5’in gorev tamamlamasini yuzde 80’den 85’e yukseltirken, geri alma cagrilarinin 21.0’dan 63.9’a yukseldiğini gosterdi. Aracı gorevlerini tamamlamaya devam etti ancak compactor’in biraktığı duruma geri donmek icin uc kat daha fazla arac cagrısı yaptı.

Benchmark Sonuclarindan Cikarimlar

Altı farklı model rejimi karsılastırmasının tümünde geri alma oranları arttı, bu artışların beşi dogrulamadan sonra anlamlı bulundu. Gorev tamamlama oranlarında ise hiçbir değişiklik gözlemlenmedi.

Bu bulgu, context compactor degerlendirmesinde görev tamamlama oranının yetersiz bir metrik olduğunu dusununduruyor.

Icerik Gecerliligi Volume’dan Daha Önemli

En dikkat cekici bulgu: Degistirilen durumun semantik olarak alakasız iceriklerle degistirilmesi, geri alma oranını yuzde 57 artırırken gorev tamamlamasında herhangi bir degisiklik yaratmadi.

Bu durum, context compactor tasarımında icerik gecerliliğinin salt veri miktarrdan çok daha onemli oldugunu gosteriyor.

Pratik Cikarimlar

ALFWorld deneylerinde kayan sıkıştırma altında geri alma artışı gözlemlenmedi. Bu nedenle, her ortamda kendi benchmark’unuzu olcmek gerekiyor.

AI context compactor benchmark sonucları, context compactor gelistiren veya ayarlayan herkes icin degerli bir referans sunuyor. Detaylı bilgi ve ilgili arastırma icin aihaber.org‘u takip etmeye devam edin.