Scale AI Yapay Zeka Ajan Hata Ayıklama Taksonomisi Açıklandı

Bir yapay zeka ajanı hatalı bir sonuç ürettiğinde, çoğu geliştirici ilk olarak modeli suçlar. Ancak Scale AI’nin yayımladığı yeni bir araştırma makalesi, bu yaklaşımın çoğu zaman yanlış çözüme yol açabileceğini ortaya koyuyor. ‘Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures’ başlıklı çalışma, yapay zeka ajan hata ayıklama süreçlerinde kök nedenin doğru tespit edilmesi için etkileşim odaklı yeni bir sınıflandırma sistemi öneriyor.

Peki bu taksonomi tam olarak ne söylüyor? Bir yapay zeka ajanı başarısız olduğunda, arızanın kaynağı yedi farklı bileşenden birinde yatıyor olabilir: modelin kendisi, bağlam katmanı, bellek sistemi, araç katmanı, başka bir ajan, değerlendirici (grader) ya da çalışma ortamı. Aynı görünür hata, farklı bileşenlerde farklı nedenlerden kaynaklanabiliyor ve bu da hata ayıklamayı oldukça karmaşık hale getiriyor.

Mevcut Hata Ayıklama Yaklaşımları Neden Yetersiz Kalıyor?

Geleneksel yapay zeka ajan hata ayıklama yöntemleri genellikle tek bir bileşene odaklanır. Bir hata tespit edildiğinde, ilk varsayım genellikle modelin yetersiz kaldığı yönündedir. Ancak Scale AI araştırmacıları, bu yaklaşımın gerçek hayatta karşılaşılan başarısızlıkların karmaşıklığını yeterince yansıtmadığını belirtiyor.

Bir yapay zeka ajanı, birden fazla katmanlı bir sistem içinde çalışır. Modelin kendisi, bu sistemin yalnızca bir parçasıdır. Araç çağırma mekanizması, bağlam yönetimi, bellek tutarlılığı ve çevresel faktörler de ajanın davranışını doğrudan etkiler. Bir talimatın göz ardı edilmesi durumunda, neden iki farklı şekilde açıklanabilir: model talimatı gördü ve ona uymayı başaramadı, ya da test ortamı (harness) bağlam sıkıştırma işlemi sırasında bu talimatı düşürdü.

Araştırma ekibi, mevcut hata sınıflandırma sistemlerinin genellikle belirli testlere özgü olduğunu ve daha geniş bir çerçeve sunmadığını ifade ediyor. Bu durum, geliştiricilerin hataları sistematik bir şekilde kategorize etmesini ve kalıcı çözümler üretmesini zorlaştırıyor.

Etkileşim Odaklı Taksonomi: 41 Hata Modu ve Yedi Katman

Scale AI’nin önerdiği taksonomi, arıza kaynağını belirlemek için etkileşim odaklı bir çerçeve sunuyor. Sistem, yapay zeka ajan hata ayıklama süreçlerinde karşılaşılabilecek 41 farklı hata modunu yedi ana katman etrafında organize ediyor. Her hata modu, hem etkileşimin kendisi hem de hatanın tarafı açısından etiketleniyor.

Yedi katman şu şekilde sınıflandırılıyor:

Model katmanı, temel dil modelinin çıkarım kapasitesindeki sınırlılıkları kapsıyor. Bağlam katmanı, modele iletilen bilgilerin yönetimi ve aktarımıyla ilgili sorunları içeriyor. Bellek katmanı, ajanın geçmiş bilgileri saklama ve geri çağırma mekanizmalarındaki aksaklıkları ele alıyor. Araç katmanı, ajanın harici araçları ve API’leri kullanmadaki hatalarını tanımlıyor. Ajan katmanı, çoklu ajan sistemlerinde ajanlar arası iletişim ve koordinasyon sorunlarını inceliyor. Değerlendirici katmanı, ajanın çıktılarını değerlendiren mekanizmadaki yanlışlıkları kapsıyor. Ortam katmanı ise ajanın çalıştığı çevresel koşullardan kaynaklanan hataları barındırıyor.

Araştırmacılar bu taksonomiyi 40 çalışılmış örnek üzerinde test etti. GPT-5.5 modelinin insanların belirlediği kategori etiketleriyle %80 doğrulukta eşleştiği ve Cohen’s Kappa (κ) değerinin 0,76 olduğu gözlendi. Dört farklı değerlendiricinin birlikte karar verdiği durumlarda ise kategori kesinliği %96’ya yükseldi; ancak bu durumda kapsama oranı %68’e düştü.

Geliştiriciler İçin Pratik Uygulama Rehberi

Scale AI araştırmacıları, bu taksonominin en büyük katkısını pratik uygulanabilirliğinde görüyor. Çalışmaya göre, ajan ekiplerinde yaşanan hataların %40’ından fazlası gerçekte model kaynaklı değil; harness, araç entegrasyonu veya ortam tasarımından kaynaklanıyor. Bu da geliştiricilerin yanlış bileşeni düzeltmeye çalışarak vakit kaybetmesine neden oluyor.

Yeni yaklaşımın önerdiği pratik akış şu şekilde işliyor: Bir hata tespit edildiğinde, önce arıza zincirinde en erken düzeltilememiş hatanın gerçekleştiği bileşen belirlenir. Eğer hata model katmanındaysa, modelin yeniden eğitilmesi gerekir. Eğer hata harness katmanındaysa, test ortamının kendisi düzeltilmelidir. Ortam kaynaklı bir hata söz konusuysa, çalışma ortamının yeniden tasarlanması şarttır.

Bu sınıflandırma sistemi, özellikle çoklu ajan mimarileri kullanan ekipler için kritik bir öneme sahip. Birden fazla ajanın koordineli çalıştığı sistemlerde, hata kaynağını izole etmek tek ajanlı sistemlere kıyasla çok daha zorlu olabiliyor. Etkileşim odaklı taksonomi, bu karmaşıklığı yönetilebilir bir çerçeveye oturtuyor.

Scale AI’nin bu çalışması, yapay zeka ajanlarının gerçek dünya uygulamalarında güvenilirliğini artırmaya yönelik önemli bir adım olarak değerlendiriliyor. Araştırma makalesi, arxiv.org üzerinden erişime açık durumda.