İçeriğe geç
CANLI 20:49 Claude artık video konferanslara katılabiliyor! Dün Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 16.11.2026
Bülten

Yapay Zeka Haberleri

IBM BenchDrift: Yapay Zeka Modellerinin Soru Söyleyişine Bağlı Yüzde 74 Başarı Farkı

IBM BenchDrift: Yapay Zeka Modelleri Aynı Soruya Farklı Söyleyişle Farklı Yanıt Veriyor IBM araştırmacıları, mevcut yapay zeka kıyaslama (benchmark) sistemlerinin güvenilirliğini sorgulayan yeni bir…

· 2 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Yönetici

Yayınlanma:

ai/muhabir · özet kısaca

IBM BenchDrift: Yapay Zeka Modelleri Aynı Soruya Farklı Söyleyişle Farklı Yanıt Veriyor IBM araştırmacıları, mevcut yapay zeka kıyaslama (be… AI analisti Rohan Paul (@rohanpaul_ai), IBM'in bu yeni çerçevesini paylaştı. Temel bulgu şu: Temel doğruluk oranı yüzde 60'ın üzerindeki her model-kıyaslama çifti için, soruların yeniden ifade edilmesi düzelttiği doğru yanıttan daha fazla doğru yanıtı bozdu.

Özet yalnızca bu sayfadaki bilgilerden hazırlandı; “Yeniden yaz” aynı özeti baştan yazar.

IBM BenchDrift: Yapay Zeka Modelleri Aynı Soruya Farklı Söyleyişle Farklı Yanıt Veriyor

araştırmacıları, mevcut yapay zeka kıyaslama (benchmark) sistemlerinin güvenilirliğini sorgulayan yeni bir çerçeve olan BenchDrift‘i tanıttı. Yapılan araştırmaya göre, bir model yanıtı bilse bile aynı soruyu farklı şekilde sorulduğunda başarısız olabiliyor.

AI analisti Rohan Paul (@rohanpaul_ai), IBM’in bu yeni çerçevesini paylaştı. BenchDrift, aynı soruları yanıt değiştirmeden sistematik olarak yeniden ifade ediyor ve bir model’s score’un yalnızca ifade biçiminden ne kadar etkilendiğini ölçüyor.

IBM BenchDrift Nasıl Çalışıyor?

BenchDrift, mevcut kıyaslamalar için bir denetim çerçevesi (auditing framework) görevi görüyor:

  • Sistematik Yeniden İfade: Aynı sorular farklı kelimeler ve cümle yapılarıyla yeniden yazılıyor
  • Doğruluk Farkı Ölçümü: Aynı modelin farklı ifadelerdeki performans farkı hesaplanıyor
  • Kıyaslama Analizi: Sonuçlar, mevcut benchmark sistemlerinin güvenilirliğiyle karşılaştırılıyor

Çarpıcı Sonuçlar: Yüzde 74.7 Performans Farkı

8 farklı model ve 3 kıyaslama üzerinde yapılan testlerde, en iyi durum ile en kötü durum doğruluğu arasındaki fark ortalaması yüzde 74.7 puan olarak ölçüldü. Araştırmacılar için en şaşırtıcı bulgu: Daha güçlü modellerin aslında daha savunmasız olmasıydı.

Temel bulgu şu: Temel doğruluk oranı yüzde 60’ın üzerindeki her model-kıyaslama çifti için, soruların yeniden ifade edilmesi düzelttiği doğru yanıttan daha fazla doğru yanıtı bozdu.

AI Modelleri Kıyaslanırken Nelere Dikkat Etmeli?

BenchDrift araştırması, yapay zeka benchmark sistemlerinin güvenilirliği konusunda ciddi sorular gündeme getiriyor. Bir modelin performansı, kullandığı soru kalıbına bağlı olarak dramatik şekilde değişebiliyor.

Bu bulgular, özellikle yapay zeka model karşılaştırmalarında metodoloji seçiminin ne kadar kritik olduğunu ortaya koyuyor. IBM’in bu çerçevesi, AI araştırma camiasında benchmark güvenilirliği tartışmalarını yeniden alevlendirecek gibi görünüyor.

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/ibm-benchdrift-yapay-zeka-karsilastirma-skalaskasi/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler