Kendi kendini geliştiren LLM ajanları, başarılı görevleri kalıcı becerilere dönüştürürken ciddi güvenlik açıkları oluşturuyor. SkillMisevo-Gym sistemi ile yapılan yeni araştırma, bu risklerin yazarlık, alma ve yürütme aşamalarında ayrı ayrı ölçülebileceğini ortaya koyuyor.
Skill Misevolution Problemi Nedir?
Kendini geliştiren AI ajanları, başarılı görev yürütmelerini yeniden kullanılabilir becerilere dönüştürür. Ancak güvenli olmayan bir başarı, onu tetikleyen girdi uzun süre önce ortadan kalksa bile, tekrar kullanılabilir politika haline gelebiliyor. Evrim süreci görev sonuçlarını optimize ederken beceri güvenliğini dikkate almadığı için, tehlikeye uğramış deneyimler kritik açıklara yol açabiliyor.
Araştırmanın Bulguları
SkillMisevo-Gym çerçevesinde 25 ajan-yöntem konfigürasyonu ve her biri için 525 görev test edildi. 21 evrimleşmiş konfigürasyonun tamamı güvensiz yapıtlar üretti. Ancak bunların yalnızca 15’i yeni oturumda zarara yol açtı. Bu da yazarlık riski ile yürütme riskinin ayrı problemler olduğunu gösteriyor.
Saldırı Başarı Oranı Artışı
Üç kötü niyetli görev, carryover Attack Success Rate (ASR)‘ı %16,0’dan %35,3’e yükseltti. Yani bir kez ajanın beceri havuzuna sızan kötü niyetli bir görev, sonraki oturumlarda bile etkisini sürdürebiliyor. Bu, ajan sistemlerinin uzun vadeli güvenliğini ciddi şekilde tehdit ediyor.
SafeEvolve Çözümü
Araştırmacıların geliştirdiği SafeEvolve wrapperı, güvensiz alma oranını 26,7 puan ve yeni oturum zararını 17,3 puan düşürdü. İyi niyetli fayda yalnızca 0,4 puan değişti. Bu, güvenlik onarımının model performansını önemli ölçüde etkilemediğini gösteriyor.
Sonuç ve Çıkarımlar
Kalıcı uyarlama güvenliği, hem hangi güncellemelerin yazıldığını hem de gelecekte hangi yürütücülerin bunları yeniden kullandığını yönetmeyi gerektiriyor. Araştırma, ajan evrim süreçlerinde güvenlik kontrollerinin şart olduğunu ortaya koyuyor.
Bu bulgular, kurumsal AI ajan sistemlerinin üretim ortamına alınmadan önce dikkatli bir güvenlik değerlendirmesi sürecinden geçirilmesi gerektiğini vurguluyor.
Henüz yorum yok. İlk yorumu siz yapın!