Yapay zeka modelleri bilgiye sahip olsa bile kullanmıyor: Yeni araştırma dikkat çekici sonuçlar ortaya koydu

Yeni bir yapay zeka araştırması, robotik ve fiziksel görevlerde yapay zeka modellerinin sahip oldukları bilgiyi kendiliğinden kullanamama sorununu gün yüzüne çıkardı. Bu bulgu, AI sistemlerinin gerçek dünya uygulamalarındaki dikkat mekanizmasılarını gözler önüne seriyor.

Araştırmanın temel bulgusu

Araştırmacılar yapay zeka modellerinin bir görev hakkında doğru cevap verebilmesine rağmen, ilgili bilgiyi kendiliğinden devreye sokamadığını tespit etti. Bir model, değişiklik kendisine söylendiğinde doğru yanıt verebiliyor; ancak aynı değişikliği kimse dile getirmediğinde bu bilgiyi kendisi gündeme getiremiyor.

Kontrollü müdahale yöntemi

@contractedai ve @physicreality hesapları, aynı fiziksel görevin bir değişken farkı içeren versiyonlarını eşzamanlı olarak kaydediyor. Bu yöntem, sıradan internet videolarının nadiren sağlayabildiği bir şeyi sunuyor: kontrollü müdahale imkanı. Her iki versiyon arasındaki tek fark bilinçli olarak değiştirilen bir değişken.

9 VLM modeli test edildi

Araştırmacılar, profesyonel bir fren tamir sürecini içeren çeşitli senaryolarda 9 farklı VLM (Vision Language Model) modelini test etti. Modeller şu iki modda değerlendirildi:

• Değişikliği adlandırma: AI’dan değişikliği tanımlaması ve bu bilgiyle muhakeme yapması istendi — sonuç olumlu
• Sessiz kalma testi: Modelin değişikliği kendi başına gündeme getirip getirmediği incelendi — sonuç olumsuz

Yapay zeka sistemlerinde dikkat tahsisi sorunu

Bu yapay zeka araştırmasının en kritik bulgusu, muhakeme başlamadan önce dikkat tahsisinin nasıl yapıldığıyla ilgili. Gerçek dünya dağıtımlarında, algılama sistemine sürekli olarak düzgün kapsamlı sorular verilmez. Sistem, muhakeme başlamadan önce dikkatini ayarlamak zorundadır — ve mevcut modeller bu konuda yetersiz kalıyor.

Sıralama tablolarının güvenilirliği sorgulanıyor

Bulgular, yapay zeka sıralama tablolarının ne ölçüde güvenilir bilgi sunduğunu da sorgulatıyor. Kriterlere bağlı olarak, bir modelin üst sıralarda yer alması yalnızca belirli görevlere olan uzmanlaşmasını yansıtıyor olabilir — genel performansını değil.