FrontierCode 1.1: En iyi modeller bile kodlama görevlerinin yüzde 40’ından fazlasında başarısız

Bağımsız yapay zekâ değerlendirme kuruluşu Artificial Analysis, 12 Ekim 2026’da FrontierCode 1.1 kodlama benchmark’ını platformunda ayrı bir sıralama tablosu olarak yayımladı. Cognition tarafından açık kaynak depo bakımcılarıyla birlikte geliştirilen benchmark, yapay zekâ modellerinin yaptığı kod değişikliklerinin gerçek depoların bakımcıları tarafından birleştirilecek (merge) kalitede olup olmadığını ölçüyor. İlk sonuçlara göre lider modeller bile denemelerin yüzde 40’ından fazlasında başarısız oluyor.

FrontierCode neyi ölçüyor?

Cognition, benchmark’ı 36 açık kaynak deponun bakımcılarıyla oluşturdu; bakımcılar her göreve 40 saatten fazla zaman ayırdı. Benchmark haziran 2026’da duyuruldu, temmuzda yayımlanan 1.1 sürümü ise adil internet kullanımı kuralları ekledi. FrontierCode yalnızca testlerin geçip geçmediğine bakmıyor: Aşırı ve gereğinden büyük değişiklikler, kapsam dışı dosyalara dokunma ya da faydasız testler eklemek gibi davranışlar da değerlendiriliyor. Doğrulayıcı gizli testler, komut kontrolleri, değişiklik boyutu sınırları ve bakımcı kriterlerine göre bir LLM incelemesi kullanıyor. Engelleyici bir kontrolü geçemeyen deneme 0 puan alıyor; hepsini geçen deneme yüzde 70 ile 100 arasında puanlanıyor.

Artificial Analysis, 150 görevden oluşan benchmark’ın birincil 100 görevlik “Main” setini her görev için üç denemeyle çalıştırıyor. Tüm modeller aynı açık kaynak ajan altyapısında (Stirrup) ve deneme başına en fazla 250 turla test ediliyor; hakem olarak GPT-6 Luna (medium) kullanılıyor. Görevler kirlenmeyi (contamination) önlemek için gizli tutuluyor ve çözüme internetten bakan denemeler 0 puan alıyor.

Sonuçlar

• Claude Opus 5.5 (max, fallback ile) yüzde 52 ortalama puan ve yüzde 58 geçme oranıyla ilk sırada. Onu yüzde 49 ile GPT-6.1 Sol (max) ve Claude Fable 5.1 izliyor.
• Zirve çok sıkışık: Altı laboratuvardan dokuz model yüzde 43 ile 52 arasında. En iyi açık ağırlıklı model yüzde 45 ile MiMo-V2.6-Pro; onu yüzde 44 ile DeepSeek V4.1 Flash ve Kimi K3 izliyor.
• 100 görevin 9’unu hiçbir model hiçbir denemede geçemedi; her modelin her denemede geçtiği bir görev de yok. Geçme oranları en düşük yüzde 16 (Muse Glimmer) ile en yüksek yüzde 58 arasında değişiyor.

Maliyet ve verimlilik

Görev başına maliyet 100 kattan fazla farklılık gösteriyor: GPT-6 Luna (max) için 0,09 dolardan Claude Fable 5.1 için 12 dolara kadar. Artificial Analysis’e göre GPT-6.1 Sol, görev başına 0,81 dolarla yüzde 49 puan alarak Claude Fable 5.1’e, önde gelen Anthropic modellerinin görev başı maliyetinin onda birinden azıyla yetişiyor. Maliyet–puan Pareto sınırında dört model bulunuyor: GPT-6 Luna (yüzde 42, 0,09 dolar), MiMo-V2.6-Pro (yüzde 45, 0,18 dolar), GPT-6.1 Sol (yüzde 49, 0,81 dolar) ve Claude Opus 5.5 (yüzde 52, 10,15 dolar). Son adım, 12 kattan fazla maliyetle 3 puan ekliyor.

Token verimliliğinde GPT-6 modelleri önde: GPT-6 Astra ve GPT-6.1 Sol görev başına yaklaşık 27 bin ve 33 bin çıktı token’ı kullanırken bu sayı Claude Opus 5.5’te yaklaşık 157 bin, Claude Sonnet 5.5’te ise yaklaşık 236 bin. FrontierCode 1.1 şimdilik Artificial Analysis Intelligence Index’e dahil değil; kuruluş benchmark’ı yakında Kodlama Ajanları sıralamasına eklemeyi planlıyor.

Kaynak: Artificial Analysis: Announcing FrontierCode on Artificial Analysis