Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir. Bu textbf{sahne durumu güvenlik açığını} tespit ediyoruz ve Başlangıç, Orta ve Son sahne durumlarını kapsayan 375 resim-soru çifti ve beş görsel sunumdan oluşan textbf{SceneSafetyBench}'i tanıtıyoruz. Sekiz VLM'de sahne durumu girdileri, %45,6-72,3'lük saldırı başarı oranlarıyla (ASR'ler) zararlı yardım ortaya çıkarıyor.
- Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir.
- Bu textbf{sahne durumu güvenlik açığını} tespit ediyoruz ve Başlangıç, Orta ve Son sahne durumlarını kapsayan 375 resim-soru çifti ve beş görsel sunumdan oluşan textbf{SceneSafetyBench}'i tanıtıyoruz.
- Sekiz VLM'de sahne durumu girdileri, %45,6-72,3'lük saldırı başarı oranlarıyla (ASR'ler) zararlı yardım ortaya çıkarıyor.
Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir.
02 Özet
Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir. Bu textbf{sahne durumu güvenlik açığını} tespit ediyoruz ve Başlangıç, Orta ve Son sahne durumlarını kapsayan 375 resim-soru çifti ve beş görsel sunumdan oluşan textbf{SceneSafetyBench}'i tanıtıyoruz. Sekiz VLM'de sahne durumu girdileri, %45,6-72,3'lük saldırı başarı oranlarıyla (ASR'ler) zararlı yardım ortaya çıkarıyor. Üç VLM'deki karşılaştırmalı analiz, sahne durumu girişlerinin katman bazında güvenlikle ilgili sinyal profillerinde QR ile ilgili görüntülere en çok benzediğini, üretim sırasında daha düşük ortalama geç katman okumaları ve farklı sinyal dinamikleri sergilediğini gösteriyor. Bu güvenlik açığını sistematik bir saldırıya dönüştürmek için, zararlı hedefleri sahne durumlarına çeviren, görüntü soru çiftlerini bağımsız olarak sorgulayan ve yanıtları bir araya getiren textbf{S3TA}'yı öneriyoruz. S3TA, sekiz açık ağırlık ve ticari VLM'deki yedi MM-SafetyBench kategorisinde, en güçlü referans çizgisini 6,1 yüzde puanı aşarak model ortalaması textbf (%71,2) ASR'ye ulaştı. Metin tarafı filtreleri ve görsel denetim sınırlı koruma sağlar. Bu bulgular, girdi içeriğinin taranmasının ötesinde, sahneye dayalı akıl yürütme yoluyla elde edilen yardım modellerinin korunması ihtiyacını vurgulamaktadır.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Vision-language models (VLMs) can provide harmful assistance by interpreting visual events, even without an explicit request for the underlying harmful objective. We identify this textbf{scene-state safety vulnerability} and introduce textbf{SceneSafetyBench}, comprising 375 image--question pairs spanning Initial, Medium, and Ultimate scene states and five visual presentations. Across eight VLMs, scene-state inputs elicit harmful assistance with attack success rates (ASRs) of 45.6--72.3%. Comparative analysis across three VLMs shows that scene-state inputs most closely resemble QR-related images in their layer-wise safety-related signal profiles, while exhibiting lower average late-layer readouts and distinct signal dynamics during generation. To turn this vulnerability into a systematic attack, we propose textbf{S3TA}, which translates harmful objectives into scene states, queries image--question pairs independently, and assembles the responses. On seven MM-SafetyBench categories across eight open-weight and commercial VLMs, S3TA achieves a model-average ASR of textbf{71.2%, exceeding the strongest baseline by 6.1 percentage points}. Text-side filters and visual moderation provide limited protection. These findings highlight the need to safeguard the assistance models infer through scene-grounded reasoning, beyond screening input content.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{wu2026reading,
title = {Reading Scene States: Uncovering Safety Failures in Vision-Language Models},
author = {Tongxi Wu and Yuyang Cheng and Jiacheng Xian and Menglin Yang and Kai Chen and Jian Zhang and Yang Gao},
journal = {arXiv preprint arXiv:2611.23206},
year = {2026},
url = {https://arxiv.org/abs/2611.23206}
}
Wu, T., Cheng, Y., Xian, J., Yang, M., Chen, K., Zhang, J., & Gao, Y. (2026). Sahne Durumlarını Okumak: Vizyon-Dil Modellerinde Güvenlik Arızalarını Ortaya Çıkarmak. arXiv. https://arxiv.org/abs/2611.23206
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın