İçeriğe geç
CANLI 03:22 Replit Missions tanıtıldı: Hedefi ve bütçeyi siz belirleyin, ajan sürüsü çalışsın 03:22 WSJ: SEC, Jensen Huang’ın ayrılığının ardından Nvidia hakkında soruşturma başlattı 03:22 Microsoft Agent Framework PyPI paketi ele geçirildi: 1.26.1 ve 1.26.2 kimlik bilgisi çalıyor 03:22 Gemini Tasks ücretsiz oldu: Gemini artık arama yapıp alışveriş yapabiliyor 03:21 Microsoft Ignite 2026’da yedi MAI modeli tanıttı: MAI Code 2 ile ucuz kodlama hamlesi Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 18.11.2026
Bülten

arXiv 2611.23206 cs.CV

Sahne Durumlarını Okumak: Vizyon-Dil Modellerinde Güvenlik Arızalarını Ortaya Çıkarmak

Özgün başlık Reading Scene States: Uncovering Safety Failures in Vision-Language Models

  • Tongxi Wu
  • Yuyang Cheng
  • Jiacheng Xian
  • Menglin Yang
  • Kai Chen
  • Jian Zhang
  • Yang Gao
ai/muhabir · özet metinden derlendi

Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir. Bu textbf{sahne durumu güvenlik açığını} tespit ediyoruz ve Başlangıç, Orta ve Son sahne durumlarını kapsayan 375 resim-soru çifti ve beş görsel sunumdan oluşan textbf{SceneSafetyBench}'i tanıtıyoruz. Sekiz VLM'de sahne durumu girdileri, %45,6-72,3'lük saldırı başarı oranlarıyla (ASR'ler) zararlı yardım ortaya çıkarıyor.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Görme dili modelleri (VLM'ler), altta yatan zararlı amaç için açık bir talep olmasa bile, görsel olayları yorumlayarak zararlı yardım sağlayabilir. Bu textbf{sahne durumu güvenlik açığını} tespit ediyoruz ve Başlangıç, Orta ve Son sahne durumlarını kapsayan 375 resim-soru çifti ve beş görsel sunumdan oluşan textbf{SceneSafetyBench}'i tanıtıyoruz. Sekiz VLM'de sahne durumu girdileri, %45,6-72,3'lük saldırı başarı oranlarıyla (ASR'ler) zararlı yardım ortaya çıkarıyor. Üç VLM'deki karşılaştırmalı analiz, sahne durumu girişlerinin katman bazında güvenlikle ilgili sinyal profillerinde QR ile ilgili görüntülere en çok benzediğini, üretim sırasında daha düşük ortalama geç katman okumaları ve farklı sinyal dinamikleri sergilediğini gösteriyor. Bu güvenlik açığını sistematik bir saldırıya dönüştürmek için, zararlı hedefleri sahne durumlarına çeviren, görüntü soru çiftlerini bağımsız olarak sorgulayan ve yanıtları bir araya getiren textbf{S3TA}'yı öneriyoruz. S3TA, sekiz açık ağırlık ve ticari VLM'deki yedi MM-SafetyBench kategorisinde, en güçlü referans çizgisini 6,1 yüzde puanı aşarak model ortalaması textbf (%71,2) ASR'ye ulaştı. Metin tarafı filtreleri ve görsel denetim sınırlı koruma sağlar. Bu bulgular, girdi içeriğinin taranmasının ötesinde, sahneye dayalı akıl yürütme yoluyla elde edilen yardım modellerinin korunması ihtiyacını vurgulamaktadır.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Vision-language models (VLMs) can provide harmful assistance by interpreting visual events, even without an explicit request for the underlying harmful objective. We identify this textbf{scene-state safety vulnerability} and introduce textbf{SceneSafetyBench}, comprising 375 image--question pairs spanning Initial, Medium, and Ultimate scene states and five visual presentations. Across eight VLMs, scene-state inputs elicit harmful assistance with attack success rates (ASRs) of 45.6--72.3%. Comparative analysis across three VLMs shows that scene-state inputs most closely resemble QR-related images in their layer-wise safety-related signal profiles, while exhibiting lower average late-layer readouts and distinct signal dynamics during generation. To turn this vulnerability into a systematic attack, we propose textbf{S3TA}, which translates harmful objectives into scene states, queries image--question pairs independently, and assembles the responses. On seven MM-SafetyBench categories across eight open-weight and commercial VLMs, S3TA achieves a model-average ASR of textbf{71.2%, exceeding the strongest baseline by 6.1 percentage points}. Text-side filters and visual moderation provide limited protection. These findings highlight the need to safeguard the assistance models infer through scene-grounded reasoning, beyond screening input content.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{wu2026reading,
  title   = {Reading Scene States: Uncovering Safety Failures in Vision-Language Models},
  author  = {Tongxi Wu and Yuyang Cheng and Jiacheng Xian and Menglin Yang and Kai Chen and Jian Zhang and Yang Gao},
  journal = {arXiv preprint arXiv:2611.23206},
  year    = {2026},
  url     = {https://arxiv.org/abs/2611.23206}
}
APA
Wu, T., Cheng, Y., Xian, J., Yang, M., Chen, K., Zhang, J., & Gao, Y. (2026). Sahne Durumlarını Okumak: Vizyon-Dil Modellerinde Güvenlik Arızalarını Ortaya Çıkarmak. arXiv. https://arxiv.org/abs/2611.23206
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.