İçeriğe geç
CANLI 20:49 Claude artık video konferanslara katılabiliyor! 2 gün önce Yerli yapay zeka İridaa, kendi modeli “Kuzey”i devreye aldı: Tahmini skorlar rakiplerine göre nerede? 9 Kas 2026 Bu Hafta AI Model Değerlendirmesi (2026-W46) 8 Kas 2026 OpenAI Uyarı Vermeden Hesap Kapatıyor: Aylık 200 Dolarlık Pro Aboneler Bile Etkilendi 8 Kas 2026 Yapay Zekâ 18 Yıllık Kuantum Varsayımını Üç Günde Çözdü: Aaronson-Ambainis Artık Bir Teorem Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 16.11.2026
Bülten

Ayın Trendleri

Harness-IF: ByteDance Yapay Zeka Ajanlarinda Komut Takibi Degerlendirme Sistemi

Harness-IF, ByteDance arastirma ekibi tarafindan gelistirilen yeni bir degerlendirme sistemidir.

· 2 dk okuma · 0 yorum

Yapay zekâya sor Paylaş
Yönetici

Yayınlanma:

ai/muhabir · özet kısaca

Harness-IF, ByteDance arastirma ekibi tarafindan gelistirilen yeni bir degerlendirme sistemidir. Varolan komut takibi kiyaslamalarinin temel sorunu, bir ajanin bir kurala uyum saglamasinin gercekten o kurali izledigi icin mi yoksa zaten … Sistem, operasyonel kurallari yurutme kanitlarindan tek tek puanlandirir.

Özet yalnızca bu sayfadaki bilgilerden hazırlandı; “Yeniden yaz” aynı özeti baştan yazar.

Harness-IF, ByteDance arastirma ekibi tarafindan gelistirilen yeni bir degerlendirme sistemidir. Kodlama ajanlarinin komutlara gercekten uyup uymadigini olcen bu sistem, mevcut kiyaslama testlerinin yanilgilarini ortaya koyuyor.

Mevcut Testlerin Yanilgisi

Varolan komut takibi kiyaslamalarinin temel sorunu, bir ajanin bir kurala uyum saglamasinin gercekten o kurali izledigi icin mi yoksa zaten yapmak uzere oldugu bir sey yaptigi icin mi oldugunu ayirt edememeleridir. Harness-IF, bu sorunu yeni bir metrikle ele alir.

Harness-IF Nasil Calisiyor?

Sistem, operasyonel kurallari yurutme kanitlarindan tek tek puanlandirir. Degerlendirme sureci sudur:

  • 60 gercekci cok donuslu kodlama senaryosu
  • 642 kuralli bir kutuphaneden 256 kurala karar verilmesi
  • Bes yapilandirilabilir yuzey uzerinde test edilmesi

Against-Prior Accuracy: Tesadufi Uyumluluktan Gercel Komut Takibine

Arastirmacilar, uyumluluk ile tesadufi eslesmeyi ayirmak icin Against-Prior Accuracy (AP-Acc) metrigini tanitti. 12 frontier model uzerinde yapilan testlerde, standart dogruluk orani %72.1-85.9 arasinda olculurken, AP-Acc %66.1-78.6 arasinda kaldi.

Kluc Bulgu: Standart Puanlamalar Uyumlulugu Abartiyor

Her model, kendi varsayilan davranisina karsi koyan kurallarda 3.6 ile 7.4 puan arasinda daha dusuk performans gosterdi. Toplam puanlar gercek komut uyumunu abartiyor ve kiyaslama siralamalarinin guvenilirligini sorgulatiyor.

Yapay Zeka Ajanlari Icin Dunya Etkileri

Bu bulgular, kodlama ajanlarini guvenlik, gizlilik ve uyumluluk kurallarina gore dagitan ekipler icin dogrudan sonuclar tasiyor. Harness-IF, yalnizca bir degerlendirme araci degil, ayni zamanda ajanlarin komutlari gercekten takip etmesini saglamak icin rehberlik sunan kapsamli bir cercevedir.

Kaynak: arxiv.org/abs/2608.11727

Yapay zekâya sor

Haberi seçtiğiniz asistanda hazır bir soruyla açın

Şu haberi 3 maddede özetle: https://aihaber.org/harness-if-byte-dance-yapay-zeka-ajan/

Gemini hazır soruyla açılamıyor: soru panonuza kopyalanır, açılan sayfada yapıştırmanız yeterli.

Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Bu haber işinize yaradı mı?

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.

İlgili haberler