Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır. Bir VLM'nin görünmeden önce nereye bakacağına karar vermek için kullandığı mekanizmayı karakterize ediyoruz. Mekanizmanın dört ana parçası bulunmaktadır.
- Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır.
- Bir VLM'nin görünmeden önce nereye bakacağına karar vermek için kullandığı mekanizmayı karakterize ediyoruz.
- Mekanizmanın dört ana parçası bulunmaktadır.
Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır.
02 Özet
Görme dili modeli bir görüntüyü tanımladığında, her seferinde bir nesneyi adlandırır ve nadiren kendini tekrar eder, ancak modelin bu düzeni nasıl planladığı açık olmaktan uzaktır. Bir VLM'nin görünmeden önce nereye bakacağına karar vermek için kullandığı mekanizmayı karakterize ediyoruz. Mekanizmanın dört ana parçası bulunmaktadır. İlk olarak, ciltleme kafaları ilgili metin belirteçlerini görüntüyle eşleştirir ve bunları eşleşen görüntü bölgesine işaret eden işaretçilere dönüştürür. İkincisi, aynı bağlama başlıkları her yazılı yanıtı geldiği bölgeye bağlar ve model bunu bir ilerleme sinyaline dönüştürür: bir imleç, görüntüdeki listenin yazıldığı konum. Üçüncüsü, bir seçme adımı imleçten veya durduktan sonra en yakın yazılmamış bölgeyi seçer. Son olarak, bakış kafaları seçilen işaretçiyi çalıştırır ve orada neyin çizildiğine, hangi dil kafalarının ve son MLP'lerin sorunun dilinde bir kelimeye dönüştüğüne dair bir kavram döndürür. Bu mekanizmanın her bir parçasını, sentetik bir görsel erişim görevinde Qwen3-VL modellerinde nedensel yamalama yoluyla doğruluyor ve mekanizmalarımızı alternatif hipotezlere karşı test ediyoruz. Ayrıca mekanizmanın giriş formatlarında, doğal fotoğraflarda ve dillerde geçerli olduğunu ve bağlama, aktarma ve bakış kafalarının 2B'den 32B'ye kadar her model boyutunda göründüğünü gösteriyoruz. Bu çalışma, bir VLM'nin bir soruyu ve görüntüyü katman katman ve simge simge bir dizi yanıta nasıl dönüştürdüğünü araştırmamıza olanak tanır. Daha genel anlamda, modellerin uzun kullanıma sunmalarla karmaşık çok adımlı görevleri nasıl planladığını incelemenin bir yolunu açar. Projemize https://plan.baulab.info/ adresinden ulaşılabilir.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
When a vision-language model describes an image, it names one object at a time and it rarely repeats itself, yet how the model plans this order is far from obvious. We characterize the mechanism a VLM uses to decide where to look before it looks. The mechanism has four main parts. First, binding heads match the relevant text tokens against the image and resolve them into pointers to the matched image region. Second, the same binding heads bind each written answer to the region it came from, and the model turns it into a progress signal: a cursor, the position in the image up to which the list has been written. Third, a select step chooses the nearest unwritten region after the cursor, or stops. Finally, gaze heads execute the chosen pointer and return a concept of what is drawn there, which language heads and the late MLPs turn into a word in the language of the question. We validate each part of this mechanism through causal patching in Qwen3-VL models on a synthetic visual retrieval task, and test our mechanisms against alternative hypotheses. We further show that the mechanism holds across input formats, natural photographs, and languages, and that its binding, relay, and gaze heads appear at every model size from 2B to 32B. This work allows us to investigate how a VLM turns a question and an image into a sequence of answers, layer by layer and token by token. More broadly, it opens a way to study how models plan over complex multi-step tasks with long rollouts. Our project is available at https://plan.baulab.info/
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{gandikota2026how,
title = {How VLMs Plan What's Next},
author = {Rohit Gandikota and Arnab Sen Sharma and Adam Belfki and David Bau},
journal = {arXiv preprint arXiv:2611.21600},
year = {2026},
url = {https://arxiv.org/abs/2611.21600}
}
Gandikota, R., Sharma, A. S., Belfki, A., & Bau, D. (2026). VLM'ler Sıradakini Nasıl Planlıyor?. arXiv. https://arxiv.org/abs/2611.21600
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın