İçeriğe geç
CANLI 05:12 Hugging Face, dil modeli çıkarım yönlendirmesini OpenRouter’a geçirdi 05:12 FBI, açık kaynaklı AI saldırı aracı Artex’in saatler içinde ağları ele geçirdiğini duyurdu 05:12 ABD, Çin şirketlerinin yurt dışından uzaktan AI çip gücüne erişimini sıkılaştırıyor 05:12 Kaliforniya başsavcısı, kontrolsüz AI ajanları gerekçesiyle OpenAI’ye dava açtı 05:12 Tencent Hy4 flash: 224 milyar parametreli, günlük işler için daha ucuz çok kipli model Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 17.11.2026
Bülten

arXiv 2611.21600 cs.CV

VLM'ler Sıradakini Nasıl Planlıyor?

Özgün başlık How VLMs Plan What's Next

  • Rohit Gandikota
  • Arnab Sen Sharma
  • Adam Belfki
  • David Bau
ai/muhabir · özet metinden derlendi

Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır. Bir VLM'nin görünmeden önce nereye bakacağına karar vermek için kullandığı mekanizmayı karakterize ediyoruz. Mekanizmanın dört ana parçası bulunmaktadır.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır. Bir VLM'nin görünmeden önce nereye bakacağına karar vermek için kullandığı mekanizmayı karakterize ediyoruz. Mekanizmanın dört ana parçası bulunmaktadır. İlk olarak, ciltleme kafaları ilgili metin belirteçlerini görüntüyle eşleştirir ve bunları eşleşen görüntü bölgesine işaret eden işaretçilere dönüştürür. İkincisi, aynı bağlama başlıkları her yazılı yanıtı geldiği bölgeye bağlar ve model bunu bir ilerleme sinyaline dönüştürür: bir imleç, görüntüdeki listenin yazıldığı konum. Üçüncüsü, bir seçme adımı imleçten veya durduktan sonra en yakın yazılmamış bölgeyi seçer. Son olarak, bakış kafaları seçilen işaretçiyi çalıştırır ve orada neyin çizildiğine, hangi dil kafalarının ve son MLP'lerin sorunun dilinde bir kelimeye dönüştüğüne dair bir kavram döndürür. Bu mekanizmanın her bir parçasını, sentetik bir görsel erişim görevinde Qwen3-VL modellerinde nedensel yamalama yoluyla doğruluyor ve mekanizmalarımızı alternatif hipotezlere karşı test ediyoruz. Ayrıca mekanizmanın giriş formatlarında, doğal fotoğraflarda ve dillerde geçerli olduğunu ve bağlama, aktarma ve bakış kafalarının 2B'den 32B'ye kadar her model boyutunda göründüğünü gösteriyoruz. Bu çalışma, bir VLM'nin bir soruyu ve görüntüyü katman katman ve simge simge bir dizi yanıta nasıl dönüştürdüğünü araştırmamıza olanak tanır. Daha genel anlamda, modellerin uzun kullanıma sunmalarla karmaşık çok adımlı görevleri nasıl planladığını incelemenin bir yolunu açar. Projemize https://plan.baulab.info/ adresinden ulaşılabilir.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

When a vision-language model describes an image, it names one object at a time and it rarely repeats itself, yet how the model plans this order is far from obvious. We characterize the mechanism a VLM uses to decide where to look before it looks. The mechanism has four main parts. First, binding heads match the relevant text tokens against the image and resolve them into pointers to the matched image region. Second, the same binding heads bind each written answer to the region it came from, and the model turns it into a progress signal: a cursor, the position in the image up to which the list has been written. Third, a select step chooses the nearest unwritten region after the cursor, or stops. Finally, gaze heads execute the chosen pointer and return a concept of what is drawn there, which language heads and the late MLPs turn into a word in the language of the question. We validate each part of this mechanism through causal patching in Qwen3-VL models on a synthetic visual retrieval task, and test our mechanisms against alternative hypotheses. We further show that the mechanism holds across input formats, natural photographs, and languages, and that its binding, relay, and gaze heads appear at every model size from 2B to 32B. This work allows us to investigate how a VLM turns a question and an image into a sequence of answers, layer by layer and token by token. More broadly, it opens a way to study how models plan over complex multi-step tasks with long rollouts. Our project is available at https://plan.baulab.info/

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{gandikota2026how,
  title   = {How VLMs Plan What's Next},
  author  = {Rohit Gandikota and Arnab Sen Sharma and Adam Belfki and David Bau},
  journal = {arXiv preprint arXiv:2611.21600},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.21600}
}
APA
Gandikota, R., Sharma, A. S., Belfki, A., & Bau, D. (2026). VLM'ler Sıradakini Nasıl Planlıyor?. arXiv. https://arxiv.org/abs/2611.21600
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.