Çinli yapay zeka laboratuvarı DeepSeek, dünya çapında dikkat çeken bir hamle yaptı. Max For AI hesabının aktardığına göre, DeepSeek'in resmi sonuç tablosunda iki yeni test seti dikkat çekti: DSBench-FullStack ve DSBench-Hard. DSBench-FullStack, tam yığın geliştirme yeteneklerini test ederken, DSBench-Hard yüksek zorluk seviyesindeki Agent görevlerine odaklanıyor.
- Çinli yapay zeka laboratuvarı DeepSeek, dünya çapında dikkat çeken bir hamle yaptı.
- Max For AI hesabının aktardığına göre, DeepSeek'in resmi sonuç tablosunda iki yeni test seti dikkat çekti: DSBench-FullStack ve DSBench-Hard.
- DSBench-FullStack, tam yığın geliştirme yeteneklerini test ederken, DSBench-Hard yüksek zorluk seviyesindeki Agent görevlerine odaklanıyor.
Çinli yapay zeka laboratuvarı DeepSeek, dünya çapında dikkat çeken bir hamle yaptı.
Çinli yapay zeka laboratuvarı , dünya çapında dikkat çeken bir hamle yaptı. Şirket, V4 Pro 0813 sürümüyle birlikte kendi iç benchmark sistemi DSBench’i tanıttı. Bu haber, AI topluluğunda büyük yankı uyandırdı.
Max For AI hesabının aktardığına göre, DeepSeek’in resmi sonuç tablosunda iki yeni test seti dikkat çekti: DSBench-FullStack ve DSBench-Hard. Bu testler, şirketin kendi içinde geliştirdiği özel değerlendirme araçları.
DSBench Nedir?
DSBench-FullStack, tam yığın geliştirme yeteneklerini test ederken, DSBench-Hard yüksek zorluk seviyesindeki Agent görevlerine odaklanıyor. DeepSeek, bu benchmark’ları haziran ayında sessizce yayınlamıştı.
DSBench Sonuçları: Sürpriz Sıralama
İlk sonuçlar şaşırtıcı veriler ortaya koyuyor. DSBench-FullStack’te Fable 5 yüzde 77.2 ile ilk sırada yer alırken, onu (73.7), Opus 4.8 (71.6) ve (71.1) takip etti.
Ancak DSBench-Hard’da tablo tamamen değişti. Opus 4.8 yüzde 71.7 ile zirveye yerleşirken, Fable 5 yüzde 68.3’e geriledi. DeepSeek V4 Pro 0813 ise yüzde 67.2 ile dördüncü sırada kaldı.
Neden Önemli?
Bir laboratuvarın kendi benchmark’unu oluşturması, o laboratuvarın neyi önceliklendirdiğini gösteriyor. DeepSeek’in DSBench ile Agent, Coding Agent ve Harness alanlarına ağırlık verdiği açık.
DeepSeek Harness zaten görünür hale gelirken, DSBench şirketin iç eğitim ve değerlendirme altyapısının bir parçası olarak değerlendiriliyor.
DSBench Açık Kaynak Olacak mı?
Şu ana kadar en kritik soru şu: DSBench açık kaynak olarak yayınlanacak mı? DeepSeek’in DSBench ve DeepSeek Harness’ı birlikte sunması, sadece yeni bir model yayınlamaktan çok daha anlamlı olabilir.
Bu durumda DeepSeek, hem yapay zeka modellerini hem de bu modelleri değerlendirme araçlarını dünyaya sunmuş olacak.
Kaynak: X/@MaxForAI
Yapay zekâya sor
Haberi seçtiğiniz asistanda hazır bir soruyla açın
Şu haberi 3 maddede özetle: https://aihaber.org/deepseek-dsbench-agent-benchmark-acik-miyor/
Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.
Bu haber işinize yaradı mı?
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın