İçeriğe geç
CANLI 03:24 OpenAI raporu: Ajanlar 2-4 saatlik araştırma görevlerinin neredeyse yarısını tek başına bitiriyor 03:24 Google, Genie 4 dünya modelini Project Genie ile Ultra abonelerine açtı 03:23 NGINX’te HTTP/2 kaynaklı iki kritik uzaktan kod çalıştırma açığı: Güncelleme şart 03:23 Nvidia Çin’e H200 satışını durdurdu, yönetim kurulunda ulusal güvenlik komitesi kurdu 03:23 Anthropic halka arz fiyatını 83 dolar olarak belirledi: Hisseler ANT koduyla Nasdaq’ta Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 19.11.2026
Bülten

arXiv 2611.24892 cs.LG

Etkileşimli Aracılar için Kullanıcı Simülatörlerini Değerlendirme Hakkında

Özgün başlık On Evaluating User Simulators for Interactive Agents

  • Hengguang Zhou
  • I-Hung Hsu
  • Li Chen
  • Priyanshi Shrivastava
  • Anastasios Angelopoulos
  • Wei-Lin Chiang
  • Ion Stoica
  • Cho-Jui Hsieh
ai/muhabir · özet metinden derlendi

Kullanıcı simülatörleri etkileşimli aracıları değerlendirmek için ölçeklenebilir bir yol sunar, ancak bunların kalitesinin nasıl değerlendirileceği henüz yeterince araştırılmamıştır. Özellikle, mevcut kullanıcı simülatörü değerlendirme çerçevelerinin, simüle edilmiş kullanıcı davranışındaki anlamlı hataları güvenilir bir şekilde tespit edip etmediği açık değildir. Bu belirsizlik simülatör değerlendirmesinin yorumlanmasını zorlaştırmaktadır.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Kullanıcı simülatörleri etkileşimli aracıları değerlendirmek için ölçeklenebilir bir yol sunar, ancak bunların kalitesinin nasıl değerlendirileceği henüz yeterince araştırılmamıştır. Özellikle, mevcut kullanıcı simülatörü değerlendirme çerçevelerinin, simüle edilmiş kullanıcı davranışındaki anlamlı hataları güvenilir bir şekilde tespit edip etmediği açık değildir. Bu belirsizlik simülatör değerlendirmesinin yorumlanmasını zorlaştırmaktadır. Yüksek bir kıyaslama puanının bize simülatör kalitesi hakkında ne söylediğini anlamak için metrikleri kendileri (meta) değerlendiriyoruz. Bu meta-değerlendirmeyi somutlaştırmak için, değişen hedefler, ihmal edilen kısıtlamalar, vaktinden önce durma ve yarım kalan işin kabulü gibi başarısızlıkları tetiklemek için simüle edilmiş tekrarları kasıtlı olarak bozuyoruz ve ardından ölçümlerin bu başarısızlıkları cezalandırıp cezalandırmadığını test ediyoruz. Önceki üç çalışmanın değerlendirme yöntemleri, 10 tedirginliğin yalnızca 5-6'sını tespit ediyor; hatta onların birleşik puanları, değiştirilmemiş kontroller yerine kesintili çalışmayı kabul etme talimatı verilen popülasyonları tercih ediyor. Bu boşluklardan hareketle, aracıları değerlendirmek için kullanıcı simülatörlerinin faydasını ve gerçek kullanıcılara yönelik iki sadakat ölçüsünü birleştiren yeni bir değerlendirme paketi öneriyoruz: nüfus düzeyindeki uygunluk kolektif etkileşim modellerini değerlendirirken, izleme düzeyindeki uygunluk bireysel kullanıcıların hedeflerinin, kısıtlamalarının ve kişiliğinin korunmasını değerlendirir. Aynı tespit kriteri altında, değerlendirme paketimiz 10 pertürbasyonun tamamını tespit eder. Tam yığın web uygulamaları, oyunlar, tasarım varlıkları ve otomatik iş akışları gibi yapıtlar oluşturmak ve iyileştirmek için 23 dil ve aracıdan 348 farklı kullanıcının birlikte çalıştığı 351 gerçek çok dönüşlü oturumda altı kullanıcı simülatörünü değerlendirerek, simüle edilmiş bir kullanıcı yanlış hedefi takip ettiğinde, bir kısıtlamayı göz ardı ettiğinde veya karakterine aykırı davrandığında nüfus düzeyindeki ölçümlerin kaçırılabileceğini ve bu sayede sadakatin kapsamlı ayrıntı düzeyinde değerlendirilmesi ihtiyacını vurguladığını bulduk.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

User simulators offer a scalable way to evaluate interactive agents, but how to assess their quality remains underexplored. In particular, it is unclear whether existing user simulator evaluation frameworks reliably detect meaningful failures in simulated user behavior. This uncertainty makes it difficult to interpret simulator evaluation. To understand what a high benchmark score tells us about simulator quality, we (meta-)evaluate the metrics themselves. To instantiate this meta-evaluation, we deliberately perturb simulated replays to induce failures such as altered goals, omitted constraints, premature stopping, and acceptance of broken work, then test whether the metrics penalize these failures. Evaluation methods from three prior studies detect only 5-6 of the 10 perturbations; their combined scores even favor populations instructed to accept broken work over unmodified controls. Motivated by these gaps, we propose a new evaluation suite that combines utility of user simulators for evaluating agents and two measures of fidelity to real users: population-level fidelity assesses collective interaction patterns, while trace-level fidelity assesses the preservation of individual users' goals, constraints, and persona. Under the same detection criterion, our evaluation suite detects all 10 perturbations. Evaluating six user simulators on 351 real multi-turn sessions in which 348 distinct users across 23 languages and agents work together to create and refine artifacts such as full-stack web apps, games, design assets, and automated workflows, we find that population-level measures can miss when a simulated user pursues the wrong goal, ignores a constraint, or behaves out of character, highlighting the need to assess fidelity at comprehensive granularities.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{zhou2026on,
  title   = {On Evaluating User Simulators for Interactive Agents},
  author  = {Hengguang Zhou and I-Hung Hsu and Li Chen and Priyanshi Shrivastava and Anastasios Angelopoulos and Wei-Lin Chiang and Ion Stoica and Cho-Jui Hsieh},
  journal = {arXiv preprint arXiv:2611.24892},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.24892}
}
APA
Zhou, H., Hsu, I., Chen, L., Shrivastava, P., Angelopoulos, A., Chiang, W., Stoica, I., & Hsieh, C. (2026). Etkileşimli Aracılar için Kullanıcı Simülatörlerini Değerlendirme Hakkında. arXiv. https://arxiv.org/abs/2611.24892
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.