Yapay Zeka Becerileri Aslında Zararlı Olabilir: 307 Vakalı Ampirik Çalışma

Araştırmanın Temel Bulgusu: Yapay zeka becerileri, ajanlara planlama, araç kullanımı ve problem çözme konularında rehberlik sağlayan yeniden kullanılabilir eklentiler olarak tasarlanıyor. Ancak yeni bir ampirik çalışma, bu becerilerin ajan performansını düşürme olasılığının yüksek olduğunu ortaya koyuyor.

2026 yılında yayınlanan “Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents” başlıklı araştırma, model, çerçeve, depo ve doğrulayıcı sabit tutularak aynı görevlerin farklı beceri yapılandırmaları altında karşılaştırılmasını içeriyor.

Ürkütücü Rakamlar

Araştırmacılar 307 onaylanmış beceri kaynaklı başarısızlık tespit etti. Bu başarısızlıklar şu şekilde kategorize ediliyor:

Fonksiyonel Başarısızlıklar (125 vaka):

Araştırmanın en çarpıcı bulgusu, 125 fonksiyonel başarısızlığın 86’sının “görev-uygulama hatalarından” kaynaklanmasıydı. Beceri, ajanı gerekli bir unsuru yanlış doldurmaya veya tamamen atlamaya yönlendiriyordu. Yani beceri konuya son derece uygun görünmesine rağmen, ajan görevi hatalı tamamlıyordu.

Verimlilik Kayıpları (182 vaka):

Yüksek güvenilirliğe sahip verimlilik gerilemelerinin 114’ü, becerinin yalnızca prompt uzunluğunu artırmasından değil, ek prosedürler getirmesinden kaynaklanıyordu. 67 vaka ise “aşırı doğrulamadan” kaynaklanıyordu; beceriler test, yeniden oluşturma, hata ayıklama ve kontrol listelerini zorunlu işlere dönüştürüyordu.

Neden Beceriler Zarar Veriyor?

Araştırma, becerilerin ajanı yanlış yönlendirme mekanizmasını açıklıyor:

Yanıltıcı İlgi: Alakasız beceriler bariz şekilde soruna yol açtığında, geliştiriciler bunu fark edip düzeltiyor. Ancak konuya uygun görünen beceriler, ajanın doğru çalışmasını engellediğinde sorun tespit edilemiyor.

Aşırı Prosedür: Beceriler, isteğe bağlı doğrulama adımlarını ve inşa tariflerini zorunlu işlere dönüştürüyor. Bu durum, ajanın orijinal görevi “doğru” yapmasına rağmen aşırı kaynak tüketmesine yol açıyor.

Pratik Öneriler

Araştırmacılar, ajan platformları için kritik uyarılar paylaşıyor:

1. Bir beceri yüklemek, sistem davranışını değiştirmek gibi ele alınmalı
2. Her beceri, görev gereksinimlerine karşı test edilmeli
3. Mutlaka becerisiz bir çalıştırmayla karşılaştırılmalı
4. Becerinin ajanda ek eylemler indürip indirmediği ölçülmeli

Kimleri Etkiliyor?

Bu bulgular özellikle şu alanlardaki geliştiriciler ve ekipler için kritik önem taşıyor: otomatik kod inceleme sistemleri kuran yazılım ekipleri, AI ajan platformları kullanan kurumsal IT departmanları, ve beceri pazaryerlerinden eklenti indiren bağımsız geliştiriciler.

Çalışma, beceri eklemenin her zaman bir kazanç olmadığını, bazen gerçek bir kayıp olduğunu gösteriyor. Geliştiricilerin yeni becerileri yüklemeden önce dikkatli bir değerlendirme sürecinden geçirmeleri gerektiği açık.

Kaynak: arxiv.org/abs/2608.11888