Videolarda verimli, kendi kendini denetleyen uzay-zamansal temsil öğrenimi için bir Maskeli Siyam Ağı çerçevesi olan VideoMSN'yi tanıtıyoruz. Etiketlenmemiş verilerle öğrenme için ağır 3D mimarilere veya yeniden yapılandırma tabanlı otomatik kodlayıcılara güvenmek yerine, videoları, videolardan örneklenen karelerden oluşan ızgaralar olan süper görüntüler olarak temsil ederek standart görüntü Vision Transformer'larını yeniden amaçlıyoruz. Her bir süper görüntüden iki görünüm oluşturuyoruz: biri uzamsal yama maskelemeli, diğeri ise çerçeveler arasında bilgi sızıntısı olmamasını sağlayan geçici çerçeve maskelemeli.
- Videolarda verimli, kendi kendini denetleyen uzay-zamansal temsil öğrenimi için bir Maskeli Siyam Ağı çerçevesi olan VideoMSN'yi tanıtıyoruz.
- Etiketlenmemiş verilerle öğrenme için ağır 3D mimarilere veya yeniden yapılandırma tabanlı otomatik kodlayıcılara güvenmek yerine, videoları, videolardan örneklenen karelerden oluşan ızgaralar olan süper görüntüler olarak temsil ederek standart görüntü Vision Transformer'larını yeniden amaçlıyoruz.
- Her bir süper görüntüden iki görünüm oluşturuyoruz: biri uzamsal yama maskelemeli, diğeri ise çerçeveler arasında bilgi sızıntısı olmamasını sağlayan geçici çerçeve maskelemeli.
Videolarda verimli, kendi kendini denetleyen uzay-zamansal temsil öğrenimi için bir Maskeli Siyam Ağı çerçevesi olan VideoMSN'yi tanıtıyoruz.
02 Özet
Videolarda verimli, kendi kendini denetleyen uzay-zamansal temsil öğrenimi için bir Maskeli Siyam Ağı çerçevesi olan VideoMSN'yi tanıtıyoruz. Etiketlenmemiş verilerle öğrenme için ağır 3D mimarilere veya yeniden yapılandırma tabanlı otomatik kodlayıcılara güvenmek yerine, videoları, videolardan örneklenen karelerden oluşan ızgaralar olan süper görüntüler olarak temsil ederek standart görüntü Vision Transformer'larını yeniden amaçlıyoruz. Her bir süper görüntüden iki görünüm oluşturuyoruz: biri uzamsal yama maskelemeli, diğeri ise çerçeveler arasında bilgi sızıntısı olmamasını sağlayan geçici çerçeve maskelemeli. Paylaşılan bir Vision Transformer (ViT) kodlayıcı, maskelenmiş bir Siyam kaybı kullanarak yerleştirmeleri hizalar ve yeniden yapılandırmaya gerek kalmadan hem hareket hem de görünüm ipuçlarını yakalar. Kod çözücü içermeyen formülasyonumuz, verimli video gösterimi öğrenimine yönelik bir görüntü temel modelinden yararlanır. Önceden eğitilmiş DINO-v3 ve DeiT-v3 görüntü kodlayıcılardan başlayarak VideoMSN, Kinetics-400, UCF101 ve HMDB51'de en son teknolojiye sahip performansa ulaşırken, önceki kendi kendini denetleyen video öğrenme yöntemlerine kıyasla 32 $ kat daha az ve 160 $ kat daha az video ön eğitim dönemi gerektirir. Önerilen yaklaşımımız aynı zamanda düşük seviyeli sınıflandırmada da güçlü bir performans göstererek öğrenilen temsillerin etiket kıtlığı senaryosunda aktarılabilirliğini doğrulamaktadır. Proje Sayfası: https://cvir.github.io/projects/videomsn.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
We introduce VideoMSN, a Masked Siamese Network framework for efficient self-supervised spatio-temporal representation learning in videos. Instead of relying on heavy 3D architectures or reconstruction-based autoencoders for learning with unlabeled data, we repurpose standard image Vision Transformers by representing videos as super images which are grids composed of frames sampled from videos. From each super image, we construct two views: one with spatial patch masking and the other with temporal frame masking, ensuring no information leakage across frames. A shared Vision Transformer (ViT) encoder aligns their embeddings using a masked Siamese loss, capturing both motion and appearance cues without reconstruction. Our decoder-free formulation leverages an image foundation model towards efficient video representation learning. Starting from pretrained DINO-v3 and DeiT-v3 image encoders, VideoMSN achieves state-of-the-art performance on Kinetics-400, UCF101, and HMDB51 while requiring up to $32times$ fewer and $160times$ fewer video pretraining epochs compared to prior video self-supervised learning methods. Our proposed approach also shows strong performance in low-shot classification, confirming the transferability of the learned representations in a label-scarce scenario. Project Page: https://cvir.github.io/projects/videomsn.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{iqbal2026image,
title = {Image Classifiers are Efficient Self-Supervised Video Representation Learners},
author = {Owais Iqbal and Sudipta Sarkar and Shyam Marjit and Omprakash Chakraborty and Anirban Chakraborty and Abir Das},
journal = {arXiv preprint arXiv:2609.40347},
year = {2026},
url = {https://arxiv.org/abs/2609.40347}
}
Iqbal, O., Sarkar, S., Marjit, S., Chakraborty, O., Chakraborty, A., & Das, A. (2026). Görüntü Sınıflandırıcılar, Kendi Kendini Denetleyen Verimli Video Temsil Öğrencileridir. arXiv. https://arxiv.org/abs/2609.40347
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın