Meta Açıklama: Araştırmalar, mevcut AI context compactor sistemlerinin oturum kısıtlaması bilgilerinin yalnızca %17sini koruduğunu ortaya koyuyor.

AI Context Compactor: Oturum Kısıtlaması Kaybı ve Çözüm Yolu

Yapay zeka geliştiricileri için kritik bir sorun ortaya çıktı: Günümüzde yaygın olarak kullanılan context compactor sistemleri, kullanıcıların oturum boyunca belirlediği kısıtlamaların büyük bölümünü sessizce kaybediyor. Araştırmalar, mevcut sistemlerin bu kuralların yalnızca %17ini koruyabildiğini gösteriyor. Bu durum, AI ajanlarının güvenilirliği ve tutarlılığı açısından ciddi endişeler doğuruyor.

Oturum Kısıtlaması Nedir ve Neden Önemli?

Oturum kısıtlaması (Session Constraints), bir AI oturumu boyunca ajanın davranışını yönlendiren kalıcı kurallardır. Örneğin “E-postaları ben onaylayana kadar silme” veya “Bu dosyayı yalnızca salt okunur modda aç” gibi talimatlar, oturum başında verildiğinde ajanın tüm süreç boyunca bu kurallara uyması beklenir. Ancak context compaction işlemi devreye girdiğinde, bu kurallar büyük ölçüde kayboluyor.

Bu kayıp rastgele değil; sistemli ve yapısal bir sorun. Araştırma, retention oranının compactor türüne, prompta, bağlam uzunluğuna, kuralın ifade ediliş biçimine ve kuralın oturumun neresinde tanımlandığına göre değiştiğini ortaya koyuyor.

COMPINT: Üç Ayarda Yapılan Değerlendirme

Araştırmacılar bu sorunu ölçmek için COMPINT adlı kapsamlı bir değerlendirme süiti geliştirdi. Bu süit, üç farklı senaryoda context compactor performansını test ediyor:

• Çoklu turlu sohbet (Multi-turn chat): Uzun konuşmalarda kısıtlamaların korunması
• Ajan trajectory: Sıralı görevlerde kuralların tutarlılığı
• Uzun vadeli araştırma: Saatler sürebilen karmaşık araştırma görevlerinde dayanıklılık

Sonuçlar şaşırtıcı: Birçok compactor sistem, compaction uygulanmadan önceki haliyle karşılaştırıldığında görevi compaction sonrasında daha kötü sonuçlandırıyor. Yani compaction, görevi iyileştirmek bir yana, durumu daha da kötüleştiriyor.

SC-Aware Extractor: %90ın Üzerinde Kurtarma

Araştırmacıların önerdiği çözüm aslında oldukça minimal: SC-aware extractor (Session Constraint-aware extractor). Bu sistem, mevcut compactorın yanına yerleştirilen hafif bir bileşen olarak çalışıyor. Extractor, compactor veya model üzerinde herhangi bir değişiklik gerektirmeden %90ın üzerinde kısıtılama koruma oranı elde edebiliyor.

Bu yaklaşımın en büyük avantajı, mevcut altyapıya minimum müdahale ile büyük bir iyileştirme sağlaması. Şirketler ve geliştiriciler, mevcut sistemlerini baştan aşağı yeniden inşa etmek yerine bu küçük ama etkili bileşeni entegre ederek oturum kısıtlaması kaybını büyük ölçüde azaltabilir.

AI Geliştiricileri İçin Çıkarımlar

Bu bulgular, AI context compactor kullanan tüm geliştiriciler için kritik bir uyarı niteliği taşıyor. Uzun süreli ajan görevlerinde tutarlılık ve güvenilirlik, kullanıcı deneyiminin temel unsurları. Oturum kısıtlamalarının sessizce kaybolması, kullanıcı beklentilerini karşılamayan ve potansiyel olarak zararlı sonuçlar doğurabilir.

Araştırma kağıdına göre bu sorun, özellikle üretim ortamlarında AI ajanlarının yaygınlaşmasıyla birlikte daha da kritik hale gelecek. SC-aware extractor çözümü, bu geçiş döneminde geliştiricilere güvenilir bir geçici köprü sunuyor.

Kaynak: @dair_ai (X/Twitter) | Paper: COMPINT Paper