Yapay zeka araştırma dünyasında kritik bir keşif gün yüzüne çıktı. Araştırmacılar, OpenAI, Anthropic ve Google‘ın kapalı kaynak modellerinden gizli düşünce zincirlerini (Chain-of-Thought / CoT) sistematik olarak çıkarmanın bir yolunu buldu. Bu keşif, büyük yapay zeka şirketlerinin düşünce süreçlerini korumak için kullandığı temel güvenlik katmanını aşıyor.
Gizli Düşünce Zinciri Nedir?
GPT, Claude ve Gemini gibi ileri düzey yapay zeka modelleri, sonuca ulaşmadan önce kapsamlı bir düşünce süreci (reasoning) izliyor. Şirketler bu düşünce zincirlerini korumak istiyor çünkü nihai cevap kopyalanabilir ancak gerçek değer, modelin “nasıl düşündüğünde” yatıyor. Bir kez tam CoT elde edilirse, model doğrudan eğitim verisi olarak kullanılabilir.
Güvenlik Açığı: Şifreli Reasoning Uyumsuzluğu
Birçok API sağlayıcısı, modelin reasoning verilerini şifreleyerek döndürüyor. Kullanıcı bu içeriği göremiyor ancak bir sonraki istekte şifreli veriyi modele geri göndererek düşünce sürecini sürdürmesini sağlayabiliyor.
Araştırmacılar, bu şifreli düşünce zincirlerinin aynı sağlayıcının farklı kullanıcıları, oturumları ve hatta farklı modelleri arasında uyumlu olduğunu keşfetti. Saldırı yöntemi şu şekilde işliyor:
- En güçlü modeli düşünmeye zorla
- Şifreli CoT verisini al
- Aynı şirketin daha zayıf ve kolayca jailbreak edilebilir modeline gönder
- Küçük modelin veriyi “okumasını” sağla
Örneğin Claude Opus 4.8‘in gizli düşünce zinciri, Haiku modeline verilerek çözülebiliyor. Opus’un kendisi kırılmasa bile küçük kardeşi üzerinden düşünceleri ifşa edilebiliyor.
Üç Büyük Platformda Doğrulandı
Araştırma, Claude, GPT ve Gemini API’lerinin üçünde de gizli reasoning verilerinin çıkarılabildiğini doğruladı. Bu, şirketlerin CoT damıtmayı önlemek için kullandığı korumayı doğrudan atlatmış oluyor.
Sonuçları ve Etkileri
Gizli düşünce zincirlerinin çalınması, model davranışını analiz etmek ve yapay zeka güvenliğini anlamak açısından değerli bir araştırma kaynağı oluşturuyor. Öte yandan bu durum, modellerin nasıl karar verdiklerinin şeffaflığı konusunda önemli soruları beraberinde getiriyor.
Kaynak: @kotekjedi_ml · @MaxForAI
Henüz yorum yok. İlk yorumu siz yapın!