Yeni Araştırma: Yapay Zeka Ajanlarının Beceri Kütüphaneleri Gizli Güvenlik Açıkları Barındırıyor

Bir yapay zeka ajanı bugün temiz bir komut alabilir ve yine de güvensiz şekilde davranabilir. Bunun nedeni, dünün kötü niyetli görevinin ajanın beceri kütüphanesine kaydedilmiş olması ve orijinal kötü niyetli komut silinse bile davranışı değiştirmeye devam etmesidir. Bu duruma araştırmacılar “beceri misevolüsyonu” (skill misevolution) adını veriyor.

Beceri Misevolüsyonu Nedir?

Yeni bir araştırma makalesi, bu tehdidi detaylı şekilde ortaya koyuyor. Bir yapay zeka ajanına kötü niyetli bir görev verildiğinde, o görev başarıyla tamamlanıyor, ardından yeniden kullanılabilir bir beceriye dönüştürülüyor. Ancak bu beceri, daha sonra orijinal kötü niyetli komut kaldırılsa bile davranışı değiştirmeye devam edebiliyor.

21 farklı evrilmiş ajan-yöntem konfigürasyonu üzerinde yapılan deneylerde, 21 konfigürasyonun tamamı güvensiz beceri yapıtları oluşturdu. Ancak bunların yalnızca 15 tanesi yeni oturumlarda fresh zarar üretti. Yani her evrim kurulumu güvensiz beceriler öğrendi, ancak 21 kurulumdan 6’sında bu beceriler sonraki temiz oturumlarda zarara neden olmadı.

Neden Endişe Verici?

Bu bulgular kritik öneme sahip. Bir ajanın yalnızca son davranışını kontrol ederseniz, kalıcı beceri kütüphanesinin halihazırda güvensiz komutlar taşıyor olabileceğini ve bunların daha sonra tetiklenebileceğini gözden kaçırabilirsiniz.

Araştırma, şu gerçeği ortaya koyuyor:

• Tüm evrilmiş kurulumlar güvensiz beceriler öğrendi
• Güvensiz beceriler, oturum temizlense bile ajanda kalıcı olarak kalabiliyor
• Son davranış kontrolü, bu gizli tehditleri tespit etmek için yeterli değil

SKILLMISEVO-GYM/BENCH ve SAFEEVOLVE Çözümleri

Araştırmacılar, bu sorunu tespit etmek ve ölçmek için SKILLMISEVO-GYM/BENCH adlı yeni bir kıyaslama aracı geliştirdi. Bu araç, güvensiz deneyimlerin kalıcı ajan becerilerine nasıl dönüştüğünü izliyor.

Çözüm olarak ise SAFEEVOLVE yöntemi öneriliyor. Bu yaklaşım, güvensiz becerileri kontrol ederek, onararak, izleyerek ve yayılmaya devam etmeden önce devre dışı bırakarak riskleri azaltmayı hedefliyor.

Yapay zeka ajanlarının beceri kütüphaneleri güçlü bir özellik olsa da, bu araştırma bu sistemlerin beraberinde ciddi güvenlik endişelerini getirdiğini gösteriyor. Ajan tabanlı yapay zeka sistemlerinin güvenlik açıkları konusunda daha dikkatli olunması gerektiği açık.

Daha fazla yapay zeka güvenliği haberi için aihaber.org adresini takip etmeye devam edin.