İçeriğe geç
CANLI Dün Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 6 gün önce Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem 8 Kas 2026 Gemini 4 Flash ve Yeni Claude İçin İşaretler Artıyor: LMArena’da ‘Hydrogen’, Sızıntıda ‘Hyperion’ Zekâ endeksi lideri Claude Opus 5 (Adaptive Reasoning, Max Effort) · 63,1 16.11.2026
Bülten

Yapay Zeka Haberleri

Yeni Araştırma: Yapay Zeka Kıyaslamalarında Şans Faktörü: İyi Kıyaslaması Seçimi Önemli

Bir yapay zeka modelinin gerçek performansını ölçmek, sandığımızdan çok daha karmaşık bir iş.

· 2 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Kısaca · 3 madde
  1. Bir yapay zeka modelinin gerçek performansını ölçmek, sandığımızdan çok daha karmaşık bir iş.
  2. Kıyaslama Puanları Nokta Değil, Bant Araştırmacı V.S. Raghu Parupudi’nin yayınladığı makaleye göre bir modelin puanı, gerçek yeteneklerinden…
  3. Dırıngan Kalemler Sonucu Belirliyor Her iki modelin de stabil şekilde cevapladığı kalemlerde modeller berabere kalıyor. Ancak yapılandırmaya…

Bir yapay zeka modelinin gerçek performansını ölçmek, sandığımızdan çok daha karmaşık bir iş. Yeni bir akademik çalışma, mevcut LLM kıyaslamalarının büyük ölçüle yanlış sonuçlar üretiyor olabileceğini gösteriyor. Çalışmanın merkezinde, kıyaslaması yapılandırmasının (harness) sonuçları nasıl dramatik şekilde değiştirebileceği yer alıyor.

Kıyaslama Puanları Nokta Değil, Bant

Araştırmacı V.S. Raghu Parupudi’nin yayınladığı makaleye göre bir modelin puanı, gerçek yeteneklerinden değil, değerlendirme kıyaslamasının yapılandırmasına bağlı olarak önemli ölçüle değişiyor. Örneğin Gemma 4-31b modeli, yalnızca kıyaslama yapılandırmasına bağlı olarak yüzde 31 ile yüzde 89 arasında puan alabiliyor.

Dırıngan Kalemler Sonucu Belirliyor

Her iki modelin de stabil şekilde cevapladığı kalemlerde modeller berabere kalıyor. Ancak yapılandırmaya duyarlı (config-fragile) kalemler, bitişik modeller arasındaki performans farkının yüzde 95,7’ini oluşturuyor. Bu da kıyaslama sonuçlarının büyük ölçüle tesadüfi olabileceğini düşündürüyor.

Dört Farklı Model Aynı Kıyaslamada Birinci Olabiliyor

Çalışmada değerlendirilen 12 modelden dördü, yalnızca kıyaslama yapılandırmasını değiştirerek birinci sıraya yerleşebiliyor. Bu bulgu, mevcut LLM sıralamalarının ne kadar çok yönlü olabileceğini gösteriyor. Yapılandırma seçimi, kazananı belirleyen temel faktör haline gelmiş durumda.

Benchmark Sıkştırma Yöntemleri Sorunu

Çalışmanın bir diğer kritik bulgusu şu: “Item discrimination” (kalem ayırt etme) metriği, benchmark sıkştırma yöntemlerinin maksimize ettiği bir gösterge. Ancak bu metrik, kıyaslama sıkştırma yöntemlerinin en fazla yapılandırmaya duyarlı kalemleri seçmesine yol açıyor — yani sıkştırılmış benchmark’lar en sorunlu kalemleri koruyor.

Puanlama Yöntemi Önemli, Seçenek Sırası Değil

Araştırmacılar, puanlama yönteminin (modelin üretilen metinden mi yoksa her seçenek için olasılıktan mı okunduğu) sonuçlar üzerinde en etkili faktör olduğunu tespit etti. Seçenek sırasının etkisi ise beklenenden daha düşük kaldı.

Bu bulgular, yapay zeka kıyaslamalarının nasıl yorumlanması gerektiği konusunda ciddi sorular gündeme getiriyor. Araştırmacılar, model karşılaştırmalarında birden fazla kıyaslama yapılandırması kullanılmasının zorunlu olduğunu vurguluyor.

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/yapay-zeka-kiyaslama-harness-yaniltmasi/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler