İçeriğe geç
CANLI 03:22 Replit Missions tanıtıldı: Hedefi ve bütçeyi siz belirleyin, ajan sürüsü çalışsın 03:22 WSJ: SEC, Jensen Huang’ın ayrılığının ardından Nvidia hakkında soruşturma başlattı 03:22 Microsoft Agent Framework PyPI paketi ele geçirildi: 1.26.1 ve 1.26.2 kimlik bilgisi çalıyor 03:22 Gemini Tasks ücretsiz oldu: Gemini artık arama yapıp alışveriş yapabiliyor 03:21 Microsoft Ignite 2026’da yedi MAI modeli tanıttı: MAI Code 2 ile ucuz kodlama hamlesi Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.23216 cs.SE

Daha Yüksek Puanlı Kodlama Modelleri Daha Fazla İş Yapmadı

Özgün başlık Higher-Scoring Coding Models Did Not Get More Work Done

  • Yining Hua
ai/muhabir · özet metinden derlendi

Yeni kodlama modelleri, kodlama kıyaslamalarındaki puan iyileştirmeleri konusunda kendilerini tanıtıyor. Ancak bu kıyaslamalarda daha yüksek puan alan bir modelin daha fazla gerçek iş yapıp yapmadığını test eden hiçbir çalışma yok. 12 Haziran 2026'da bir ABD ihracat kontrol direktifi, Claude Fable 5'e erişimi 19 gün süreyle yasakladı ve bu da kullanıcıları diğer modellere geçmeye zorladı.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Yeni kodlama modelleri, kodlama kıyaslamalarındaki puan iyileştirmeleri konusunda kendilerini tanıtıyor. Ancak bu kıyaslamalarda daha yüksek puan alan bir modelin daha fazla gerçek iş yapıp yapmadığını test eden hiçbir çalışma yok. 12 Haziran 2026'da bir ABD ihracat kontrol direktifi, Claude Fable 5'e erişimi 19 gün süreyle yasakladı ve bu da kullanıcıları diğer modellere geçmeye zorladı. Bu süre zarfında eski Fable 5 kullanıcılarının çoğu Opus 4.8'e geçti (SWE-Bench Pro'da Fable 5'e kıyasla 11 puan daha düşük). Bu askıya alma işlemini, kişilerin ve projelerin aynı kaldığı ve yalnızca modelin değiştiği doğal bir deney olarak ele alıyoruz, böylece Fable 5'in kullanıcı verimliliği üzerindeki etkisini izole edebildik. Askıya alma öncesinde, sırasında ve sonrasında 297 Fable 5 kullanıcısının GitHub çekme isteklerini takip ettik. Kontrol grubu olarak sürekli Opus 4.8'de kalan 8.908 geliştiriciyi kullandık. Ayrıca karşılaştırmayı 2026'daki askıya alma öncesinde ve sonrasındaki beş model yükseltmesinde de tekrarladık (1.208 geliştirici, 15.442 çekme isteği). Geliştirici ve sabit tarih etkilerine sahip bir farklar farkı modeli uygulayarak, Fable 5'e erişim sağlamanın, çekme isteklerinin 7 günlük birleştirme oranını yalnızca yüzde 1,4 puan [-1,4; +4.3], istatistiksel olarak anlamlı değildi. Benzer şekilde, yükseltmelerle birleşme oranlarında önemli bir artış bulunmadı (ağırlıklı ortalama: -0,9 yüzde puanı [-1,9; +0,2]); beş tahminin tümü negatifti (%95 aralıklar 0'ı içeriyordu, birbirinden farklı değildi). Ayrıca haftada birleştirilen çekme isteklerinin sayısında da önemli bir artış gözlemlemedik (+%2,4 [-%4,9; +%10,2]).

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

New coding models advertise themselves on score improvements of coding benchmarks. Yet no study has tested if a model that scores higher on these benchmarks gets more real work done. On June 12, 2026, a U.S. export control directive banned access to Claude Fable 5 for 19 days, which forced users to switch to other models. During this time, most former Fable 5 users switched to Opus 4.8 (11 points lower on SWE-Bench Pro compared to Fable 5). We treat this suspension as a natural experiment, where the people and projects stayed the same and only the model changed, so we could isolate the effect of Fable 5 on user productivity. We tracked GitHub pull requests of 297 Fable 5 users before, during, and after the suspension. We used 8,908 developers who stayed on Opus 4.8 all the time as the control group. We also repeated the comparison across five model upgrades before and after the suspension in 2026 (1,208 developers, 15,442 pull requests). Fitting a difference-in-differences model with developer and date fixed effects, we found that having access to Fable 5 increased the 7-day merge rate of pull requests by only 1.4 percentage points [-1.4; +4.3], which was not statistically significant. Similarly, no significant increases of merge rates were found with the upgrades (weighted mean: -0.9 percentage points [-1.9; +0.2]); all five estimates were negative (95% intervals included 0, did not differ from each other). We also did not observe a significant increase in the number of pull requests merged per week (+2.4% [-4.9%; +10.2%]).

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{hua2026higherscoring,
  title   = {Higher-Scoring Coding Models Did Not Get More Work Done},
  author  = {Yining Hua},
  journal = {arXiv preprint arXiv:2611.23216},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.23216}
}
APA
Hua, Y. (2026). Daha Yüksek Puanlı Kodlama Modelleri Daha Fazla İş Yapmadı. arXiv. https://arxiv.org/abs/2611.23216
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.