Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi? Nature dergisinde yayınlanan bir makaleye göre, dünyanın önde gelen AI modelleri bile "insanların son sınavı" olarak adlandırılan MMLU testlerinde en fazla %50 skor alabildi. Bu durum, AI değerlendirmesinde yeni ölçütlere ihtiyaç olduğunu gösteriyor.Kaynak: IT之家.
- Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi?
- Nature dergisinde yayınlanan bir makaleye göre, dünyanın önde gelen AI modelleri bile "insanların son sınavı" olarak adlandırılan MMLU testlerinde en fazla %50 skor alabildi.
- Bu durum, AI değerlendirmesinde yeni ölçütlere ihtiyaç olduğunu gösteriyor.Kaynak: IT之家.
Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi?
Yeni bir tartışma AI topluluğunda alevlendi: MMLU (Massive Multitask Language Understanding) ölçümü artık geçerli mi?
Nature’da Yayınlanan Sonuçlar
Nature dergisinde yayınlanan bir makaleye göre, dünyanın önde gelen AI modelleri bile “insanların son sınavı” olarak adlandırılan MMLU testlerinde en fazla %50 skor alabildi.
- Claude, GPT-5.2 ve diğer modeller düşük performans gösterdi
- İnsan uzmanlar hala büyük güvenli alanda
- MMLU’nun ölçüm validitesi sorgulanıyor
Bu durum, AI değerlendirmesinde yeni ölçütlere ihtiyaç olduğunu gösteriyor.
Kaynak: IT
Yapay zekâya sor
Haberi seçtiğiniz asistanda hazır bir soruyla açın
Şu haberi 3 maddede özetle: https://aihaber.org/mmlu-oluyor-mu-ai-modelleri-insanlarin-son-sinavinda-basarisiz/
Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.
Bu haber işinize yaradı mı?
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın