Yüz sahteciliği tespit yöntemleri genellikle görülen manipülasyonlarda iyi performans gösterir ancak görünmeyen manipülasyonlarda zayıf genelleme yapar. Multimodal Büyük Dil Modelleri (MLLM'ler) yüz kısımlarını tanıyabilir ve bunların görsel inandırıcılığını değerlendirebilir. Mevcut MLLM tabanlı yöntemler genellikle bu yargıları metinsel açıklamalar yoluyla ifade eder, ancak nadiren bireysel parça kararlarını açık öğrenme hedefleri olarak ele alır.
- Yüz sahteciliği tespit yöntemleri genellikle görülen manipülasyonlarda iyi performans gösterir ancak görünmeyen manipülasyonlarda zayıf genelleme yapar.
- Multimodal Büyük Dil Modelleri (MLLM'ler) yüz kısımlarını tanıyabilir ve bunların görsel inandırıcılığını değerlendirebilir.
- Mevcut MLLM tabanlı yöntemler genellikle bu yargıları metinsel açıklamalar yoluyla ifade eder, ancak nadiren bireysel parça kararlarını açık öğrenme hedefleri olarak ele alır.
Yüz sahteciliği tespit yöntemleri genellikle görülen manipülasyonlarda iyi performans gösterir ancak görünmeyen manipülasyonlarda zayıf genelleme yapar.
02 Özet
Yüz sahteciliği tespit yöntemleri genellikle görülen manipülasyonlarda iyi performans gösterir ancak görünmeyen manipülasyonlarda zayıf genelleme yapar. Multimodal Büyük Dil Modelleri (MLLM'ler) yüz kısımlarını tanıyabilir ve bunların görsel inandırıcılığını değerlendirebilir. Mevcut MLLM tabanlı yöntemler genellikle bu yargıları metinsel açıklamalar yoluyla ifade eder, ancak nadiren bireysel parça kararlarını açık öğrenme hedefleri olarak ele alır. Doğrudan görsel kararlarla yüz sahteciliği tespiti için MLLM tabanlı bir yöntem olan FaceJev'i sunuyoruz. Jev formülasyonunu takip eden FaceJev, paylaşılan bir görüntü kodlamasını kullanarak yüz kısımlarıyla ilgili sekiz bağımsız soruyu yanıtlıyor ve yerel yanıt logitlerinden anormallik olasılıklarını okuyor. Bir yüz, herhangi bir parçanın anormal olduğu tahmin ediliyorsa sahte olarak sınıflandırılır ve tespit sonucu doğrudan parça kararlarına bağlanır. Bu kararları denetlemek için, yüzün sekiz bölümü için ikili anormallik hedeflerini içeren yaklaşık 160 bin görüntüden oluşan bir veri kümesi olan PartForensics'i oluşturuyoruz. Ayrıca, hem tespit hem de parça ödüllerini kullanarak her bir parça kararını alternatifiyle tam bir ödül karşılaştırması yoluyla optimize eden FS-GRPO'yu öneriyoruz. FaceJev, görünmeyen manipülasyonlarda en güçlü taban çizgisinden yüzde 7,25 puan daha iyi performans gösteriyor. Kapsamlı ablasyon çalışmaları tasarım seçimlerimizi ve ana bileşenlerin etkinliğini doğrulamaktadır.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Face forgery detection methods often perform well on seen manipulations but generalize poorly to unseen ones. Multimodal Large Language Models (MLLMs) can recognize facial parts and assess their visual plausibility. Existing MLLM-based methods typically express these judgments through textual explanations, but seldom treat individual part decisions as explicit learning targets. We present FaceJev, an MLLM-based method for face forgery detection through direct visual decisions. Following the Jev formulation, FaceJev answers eight independent questions about facial parts using a shared image encoding and reads anomaly probabilities from the native answer logits. A face is classified as forged if any part is predicted to be abnormal, directly linking the detection result to the part decisions. We construct PartForensics, a dataset of approximately 160k images with binary anomaly targets for the eight facial parts, to supervise these decisions. We further propose FS-GRPO, which optimizes each part decision through an exact reward comparison with its alternative, using both detection and part rewards. FaceJev outperforms the strongest baseline by 7.25 percentage points on unseen manipulations. Extensive ablation studies validate our design choices and the effectiveness of the main components.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{peng2026facejev,
title = {FaceJev: Direct Visual Decisions for Face Forgery Detection},
author = {Siran Peng and Tianshuo Zhang and Yibo Xue and Ajian Liu and Haoyuan Zhang and Weisong Zhao and Shuhuan Chen and Xiangyu Zhu and Zhen Lei},
journal = {arXiv preprint arXiv:2611.21604},
year = {2026},
url = {https://arxiv.org/abs/2611.21604}
}
Peng, S., Zhang, T., Xue, Y., Liu, A., Zhang, H., Zhao, W., Chen, S., Zhu, X., & Lei, Z. (2026). FaceJev: Yüz Sahteciliği Tespiti için Doğrudan Görsel Kararlar. arXiv. https://arxiv.org/abs/2611.21604
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın