# Alibaba E-Ticaret Yapay Zeka Ajan Benchmark’ı Açık Kaynak: 107 Görev, Yalnızca %61.7 Başarı

**SEO Title:** Alibaba E-Ticaret Yapay Zeka Ajan Benchmark’ı Açık Kaynak: 107 Görev, Yalnızca %61.7 Başarı
**Meta Desc:** Accio, CommerceAgentBench’i açık kaynak olarak paylaştı. 107 e-ticaret görevi, gerçek doğrulama sistemi. En iyi model yalnızca %61.7 başarı oranı elde etti. Tüm detaylar.
**Slug:** commerceagentbench-ali-baba-yapay-zeka-ajan-benchmark
**Focus Keyword:** CommerceAgentBench

—

Alibaba E-Ticaret Yapay Zeka Ajan Benchmark’ı Açık Kaynak: 107 Görev, Yalnızca %61.7 Başarı

CommerceAgentBench, Alibaba’nın e-ticaret platformu Accio tarafından geliştirilen ve yapay zeka ajanlarının gerçek iş dünyasında ne kadar etkili olduğunu ölçen kapsamlı bir benchmark sistemi. 107 e-ticaret görevinden oluşan bu açık kaynak benchmark, ajanların yalnızca doğru yanıt verip vermediğini değil, gerçekten iş bitirip bitiremediklerini test ediyor. Şaşırtıcı sonuçlar, sektörde insan denetiminin hâlâ ne kadar kritik olduğunu gözler önüne seriyor.

CommerceAgentBench Nedir ve Neden Önemli?

Geleneksel yapay zeka benchmark’ları, bir modelin belirli bir soruya doğru yanıt verip vermediğini ölçüyor. Ancak CommerceAgentBench farklı bir yaklaşım benimsiyor: Ajanın iddia ettiği şeyi yapıp yapmadığını değil, gerçekte ne değiştirdiğini, ne kaydettiğini ve ne teslim ettiğini doğruluyor.

Benchmark, tedarik, ürün listeleme, operasyonlar, lojistik ve satış sonrası süreçleri kapsayan 107 farklı e-ticaret görevini içeriyor. Ajansız yapay zeka sistemleri, tarayıcılar, e-postalar, takvimler, belgeler, API’ler ve dosyalarla entegre çalışarak gerçek dünya senaryolarını simüle ediyor.

Gmail Tedarik Örneği: 107 Görev Arasından Bir Kesit

CommerceAgentBench’in en çarpıcı görevlerinden biri, Gmail üzerinden yürütülen tedarik senaryosu. Bu görevde yapay zeka ajanı şunları yapmak zorunda:

• 300 karmaşık e-postayı analiz ederek gerçek tedarikçileri tespit etmek
• En güncel teklifleri yeniden yapılandırmak
• 6 farklı Incoterms ve 4 para birimi üzerinden karşılaştırma yapmak
• Navlun maliyetlerini hesaplamak
• Dolandırıcılık tespiti gerçekleştirmek
• Tedarikçi seçimi yapmak
• İlgili e-postaları etiketlemek
• Yanıt taslağı oluşturmak
• Kickoff etkinliği planlamak

Bu bile tek bir görev için inanılmaz karmaşık bir iş akışı. Ve tam olarak bu yüzden CommerceAgentBench, benchmark’ları chatbot olarak değil, çalışan olarak değerlendiriyor.

Benchmark Sonuçları: İnsan Denetimi Hâlâ Şart

Accio’nun paylaştığı sonuçlar, yapay zeka ajanlarının gerçek dünya görevlerinde henüz istenen seviyede olmadığını gösteriyor. En başarılı model, 107 görevden yalnızca 66 tanesini tamamlayabildi. Bu da %61.7’lik bir başarı oranı anlamına geliyor.

Sonuçlar, 2026’nın “yapay zeka ajanları yılı” ilan edilmesine rağmen, sistemlerin özerk çalışması için henüz erken olduğunu ortaya koyuyor. İnsan denetimi ve müdahalesi, ajan tabanlı sistemlerin güvenilir şekilde çalışması için hâlâ kritik önem taşıyor.

Alibaba’nın 27 Yıllık E-Ticaret Verisi

CommerceAgentBench’in en güçlü yanı, arkasındaki devasa veri altyapısı. Benchmark görevleri şu veri kaynaklarından besleniyor:

• 10 milyon KOBİ kullanıcısı
• 1.6 milyon konuşma verisi
• 200 bin ajan yörünge kaydı
• Alibaba’nın 27 yıllık e-ticaret deneyimi

Bu hacimde gerçek dünya verisiyle eğitilen bir benchmark, yapay zeka ajanlarının ticari ortamlardaki performansını son derece güvenilir şekilde ölçüyor.

CommerceAgentBench Açık Kaynak Olarak Yayınlandı

Accio, hem proje kodunu hem de görev spesifikasyonlarını tamamen açık kaynak olarak GitHub üzerinden paylaştı. Geliştiriciler ve araştırmacılar, benchmark’ı kendi ajan sistemlerini test etmek için kullanabilir ve sonuçları toplulukla paylaşabilir.

CommerceAgentBench, açık kaynak yapay zeka ekosisteminin gelişimine önemli bir katkı sağlıyor. Gerçek dünya görevleriyle ölçülen ajan performansı, yalnızca teorik benchmark’lara kıyasla çok daha değerli veriler sunuyor.

Kaynak: @kimmonismus / X, GitHub