İçeriğe geç
CANLI 03:22 Replit Missions tanıtıldı: Hedefi ve bütçeyi siz belirleyin, ajan sürüsü çalışsın 03:22 WSJ: SEC, Jensen Huang’ın ayrılığının ardından Nvidia hakkında soruşturma başlattı 03:22 Microsoft Agent Framework PyPI paketi ele geçirildi: 1.26.1 ve 1.26.2 kimlik bilgisi çalıyor 03:22 Gemini Tasks ücretsiz oldu: Gemini artık arama yapıp alışveriş yapabiliyor 03:21 Microsoft Ignite 2026’da yedi MAI modeli tanıttı: MAI Code 2 ile ucuz kodlama hamlesi Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.23209 cs.CV

İnsan Bakışından Temelli Muhakeme Öğrenmek

Özgün başlık Learning Grounded Reasoning from Human Gaze

  • Gabriel Sarch
  • Declan Campbell
  • Nicholas Budny
  • Kia Ghods
  • Katerina Fragkiadaki
  • Jonathan D. Cohen
  • Brenden M. Lake
  • Taylor W. Webb
ai/muhabir · özet metinden derlendi

İnsanın görsel muhakemesi, görevle ilgili görsel kanıtların sistematik olarak araştırılması ve çıkarılmasıyla yönlendirilir. İnsan bakışı bu sürece açılan bir pencere sağlar ve bakışı, görüş dili modellerinde (VLM'ler) görsel temelli akıl yürütme için yararlı bir rehberlik kaynağı haline getirir. Ancak insan bakışı aynı zamanda VLM'lere zayıf bir şekilde aktarılabilen gürültü ve fazlalıkları da içerir.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

İnsanın görsel muhakemesi, görevle ilgili görsel kanıtların sistematik olarak araştırılması ve çıkarılmasıyla yönlendirilir. İnsan bakışı bu sürece açılan bir pencere sağlar ve bakışı, görüş dili modellerinde (VLM'ler) görsel temelli akıl yürütme için yararlı bir rehberlik kaynağı haline getirir. Ancak insan bakışı aynı zamanda VLM'lere zayıf bir şekilde aktarılabilen gürültü ve fazlalıkları da içerir. Bu çalışmada, insan davranışıyla uyumu korurken VLM'lerde görsel muhakemeyi geliştirmek için insan bakışı verilerinden nasıl etkili bir şekilde yararlanılabileceğini araştırıyoruz. Çeşitli ve zorlu görsel akıl yürütme görevlerinden 7.109 insan bakışı denemesi topluyoruz ve farklı bakış rehberliği biçimleriyle temelli akıl yürütme modelleri eğitiyoruz. Haritayı anlama, görsel arama ve saymadaki değerlendirmelerde, temellendirilmiş muhakeme için insan bakışını öncelikli olarak kullanmanın, tam bakış dizisini kullanan denetimden sürekli olarak daha iyi performans gösterdiğini bulduk. Bu bulgulara dayanarak, önde gelen temellendirilmiş akıl yürütme temellerini doğruluk açısından eşleştirirken veya onlardan daha iyi performans gösterirken, daha fazla insan hizalaması ve daha güvenilir görsel temellendirme sağlayan GGR'yi (Bakış Kılavuzlu Akıl Yürütücü) tanıtıyoruz. Takviyeli öğrenme, bakış denetimi kullanılmamasına rağmen görev doğruluğunu, bakış hizalamasını ve topraklama kalitesini daha da artırır. Davranışsal analizler, bakış denetimli modellerin bir cevaba ulaşmadan önce daha fazla görsel keşif sergilediğini göstermektedir. Sonuçlarımız, insan bakışının değerinin, insan davranışının tam olarak taklit edilmesini gerektirmeden mekansal araştırmaya rehberlik etmede ve muhakeme davranışını şekillendirmede yattığını göstermektedir.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Human visual reasoning is driven by systematic exploration and extraction of task-relevant visual evidence. Human gaze provides a window into this process, making gaze a useful source of guidance for visually-grounded reasoning in vision-language models (VLMs). However, human gaze also includes noise and redundancies that may transfer poorly to VLMs. In this work, we investigate how human gaze data can be effectively leveraged to improve visual reasoning in VLMs, while maintaining alignment with human behavior. We collect 7,109 human gaze trials from a diverse and challenging set of visual reasoning tasks, and train grounded reasoning models with different forms of gaze guidance. Across evaluations in chart understanding, visual search, and counting, we find that using human gaze as a prior for grounded reasoning consistently outperforms supervision using the full gaze sequence. Based on these findings, we introduce GGR (Gaze-Guided Reasoner), which achieves greater human alignment and more reliable visual grounding while matching or outperforming leading grounded-reasoning baselines in accuracy. Reinforcement learning further improves task accuracy, gaze alignment, and grounding quality despite using no gaze supervision. Behavioral analyses show that gaze supervised models exhibit more visual exploration before arriving at an answer. Our results suggest that the value of human gaze lies in guiding spatial exploration and shaping reasoning behavior without requiring complete imitation of human behavior.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{sarch2026learning,
  title   = {Learning Grounded Reasoning from Human Gaze},
  author  = {Gabriel Sarch and Declan Campbell and Nicholas Budny and Kia Ghods and Katerina Fragkiadaki and Jonathan D. Cohen and Brenden M. Lake and Taylor W. Webb},
  journal = {arXiv preprint arXiv:2611.23209},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.23209}
}
APA
Sarch, G., Campbell, D., Budny, N., Ghods, K., Fragkiadaki, K., Cohen, J. D., Lake, B. M., & Webb, T. W. (2026). İnsan Bakışından Temelli Muhakeme Öğrenmek. arXiv. https://arxiv.org/abs/2611.23209
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.