İçeriğe geç
CANLI 19 sa önce Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 19 sa önce FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 19 sa önce ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 19 sa önce Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 19 sa önce Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

MMLU Ölüyor mu? AI Modelleri İnsanların Son Sınavında Başarısız

· 1 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Picsum ID: 26
Yönetici

Yayınlanma: Son güncelleme:

ai/muhabir · özet metinden derlendi

Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi? Nature dergisinde yayınlanan bir makaleye göre, dünyanın önde gelen AI modelleri bile "insanların son sınavı" olarak adlandırılan MMLU testlerinde en fazla %50 skor alabildi. Bu durum, AI değerlendirmesinde yeni ölçütlere ihtiyaç olduğunu gösteriyor.Kaynak: IT之家.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi?

Nature’da Yayınlanan Sonuçlar

Nature dergisinde yayınlanan bir makaleye göre, dünyanın önde gelen AI modelleri bile “insanların son sınavı” olarak adlandırılan MMLU testlerinde en fazla %50 skor alabildi.

  • Claude, GPT-5.2 ve diğer modeller düşük performans gösterdi
  • İnsan uzmanlar hala büyük güvenli alanda
  • MMLU’nun ölçüm validitesi sorgulanıyor

Bu durum, AI değerlendirmesinde yeni ölçütlere ihtiyaç olduğunu gösteriyor.

Kaynak: IT

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/mmlu-oluyor-mu-ai-modelleri-insanlarin-son-sinavinda-basarisiz/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.