Yeni bir araştırma, yapay zeka bağlam sıkıştırma sistemlerinin kullanıcı oturum sınırlarının yalnızca yüzde 17’sini tuttuğunu ortaya koydu. COMPINT değerlendirme soyutu, bu sorunu detaylı şekilde inceliyor.
Yapay zeka sistemleri, uzun sohbetlerde bağlamı korumak için bağlam sıkıştırma kullanıyor. Ancak yeni bir araştırmaya göre, bu sıkıştırma işlemleri kullanıcının oturum boyunca belirlediği önemli kuralları sessizce düşürüyor.
Oturum Sınırları Nedir?
Oturum Sınırları (Session Constraints – SCs), yapay zeka sisteminin oturumun geri kalanında uyması gereken kullanıcı talimatlarıdır. Örneğin “ben onaylayıncaya kadar hiçbir e-postayı silme” veya “sadece İngilizce yanıt ver” gibi kurallar bu kategoride yer alıyor.
Araştırmaya göre bu tür sınırlar, yapay zeka sisteminin tüm oturum boyunca davranışını yönlendirmek için kritik öneme sahip. Ancak bağlam sıkıştırma devreye girdiğinde, bu sınırlar büyük ölçüde kayboluyor.
COMPINT: Yeni Değerlendirme Soyutu
Araştırma ekibi, COMPINT adlı yeni bir değerlendirme soyutu geliştirdi. Bu soyut, bağlam sıkıştırıcılarını üç farklı uzun-bağlam senaryosunda test ediyor:
- Çok-turlu sohbet: Uzun süreli konuşmalarda sınırların korunması
- Ajan yörüngesi: Ajan görevlerinde sınırların tutarlılığı
- Uzun-ufuklu araştırma: Uzun süren araştırma görevlerinde sınırların korunması
Sonuçlar şaşırtıcı: Güncel bağlam sıkıştırıcıları, enjekte edilen SC’lerin yalnızca yüzde 17’sini koruyabiliyor. Çoğu durumda, sıkıştırma kullanmadan aynı görevi çalıştırmak daha iyi sonuçlar veriyor.
Neden Yapıyorlar?
SC kaybının nedeni sistematik. Sıkıştırma, prompt, bağlam uzunluğu, SC ifade biçimi ve enjekte konumu gibi faktörlere göre değişiyor. Yani bu, herhangi bir tek ayardan değil, bağlam sıkıştırma yaklaşımının kendisinden kaynaklanan yapısal bir sorun.
SC-Duyarlı Çözüm
Araştırma ekibi, mevcut sıkıştırıcıya dokunmadan veya LLM’i değiştirmeden SC retansiyonunu yüzde 90’ın üzerine çıkaran bir “SC-Duyarlı Çıkarıcı” öneriyor. Bu modül, sıkıştırıcıyla birlikte çalışan bir tak-çalıştır modülü olarak işlev görüyor.
Bu yaklaşım, mevcut bağlam sıkıştırma sistemlerine minimum değişiklikle entegre edilebilir ve ciddi performans iyileştirmesi sağlar.
Etkileri ve Sonuçları
Oturum sınırlarının kaybı, yapay zeka ajanlarının güvenilirliğini ciddi şekilde etkileyebilir. Bir ajan, kullanıcının önemli gördüğü kuralları görmezden gelerek görevlerini tamamlayabilir ve bu da istenmeyen sonuçlara yol açabilir.
Bu araştırma, yapay zeka bağlam yönetim sistemlerinin daha dikkatli değerlendirilmesi gerektiğini ortaya koyuyor. Özellikle uzun süreli ajan görevlerinde, bağlam sıkıştırmanın oturum sınırları üzerindeki etkisi kritik önem taşıyor.
Kaynak: DAIR.AI (@dair_ai) | Araştırma: arxiv.org/abs/2608.11242
Yapay Zeka Ajan Koordinasyon Sistemleri | LLM Fiyat Karşılaştırması
Henüz yorum yok. İlk yorumu siz yapın!