ARAşTıRMA · MULTIMODAL AI
arXiv:2608.05149
5 Ağu 2026 · v1
CoCo – IR: Bağlamsal Birleştirilmiş Görüntü Alma
Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, +4 yazar
YAYIN:5 Ağu 2026 ALAN:cs.CL
OKUMA:2 YILDIZ:★ 2.5
Özet
Mevcut talimat tabanlı görüntü alma sistemleri güçlüdür, ancak karmaşık, gerçek dünyadaki görsel aramaların yinelemeli doğasını yakalayamayan tek turlu etkileşimlerle sınırlıdır. Bu sınırlamanın üstesinden gelmek için, kullanıcıların etkileşimler yoluyla arama sonuçlarını aşamalı olarak iyileştirmelerini sağlayan yeni bir görev olan Bağlamsal Birleştirilmiş Görüntü Alma'yı (CoCo - IR) kullanıma sunuyoruz. Bu yeni görevi, CoCo - IR için bağlam bilincine sahip bir akıl yürütücü olarak işlev gören Büyük Çok Modlu Modele (LMM) dayanan yeni bir model önererek ele alıyoruz. Modelimiz, dönüşler arasında gelişen Dönüştürülebilir Görüntü Katıştırmaları (TIE) oluşturmak için tüm etkileşim geçmişini yorumlar. Pahalı insan ek açıklamaları olmadan model eğitimini beslemek için, yüksek kaliteli bağlamsal alma verileri üretmek için LMM'lerden yararlanan ve zorlu olumsuzlukları ortaya çıkarmak için model güdümlü doğrulama kullanan tamamen özerk, ölçeklenebilir bir veri motoru geliştiriyoruz. Kapsamlı deneyler, yaklaşımımızın son teknoloji ürünü yeni bir performans ortaya koyduğunu göstermektedir: Zorlu tek dönüşlü kıyaslama Circo'da 39.4 mAP@5 elde ediyoruz; ayrıca, yeni CoCo - IR kıyaslamamızda, modelimiz 4 dönüşlü diyaloglarda 44.1 R@1 ile sağlam performansı koruyor ve çok dönüşlü bağlamı ele alamayan mevcut yöntemlerden (28.2 4 dönüşlü R@1) önemli ölçüde daha iyi performans gösteriyor. Proje sayfası: https://CoCo-IR.github.io.
Giriş
Mevcut talimat tabanlı görüntü alma sistemleri güçlüdür, ancak karmaşık, gerçek dünyadaki görsel aramaların yinelemeli doğasını yakalayamayan tek turlu etkileşimlerle sınırlıdır. Bu sınırlamanın üstesinden gelmek için, kullanıcıların etkileşimler yoluyla arama sonuçlarını aşamalı olarak iyileştirmelerini sağlayan yeni bir görev olan Bağlamsal Birleştirilmiş Görüntü Alma’yı (CoCo – IR) kullanıma sunuyoruz. Bu yeni görevi, CoCo – IR için bağlam bilincine sahip bir akıl yürütücü
Araştırma Detayları
olarak işlev gören Büyük Çok Modlu Modele (LMM) dayanan yeni bir model önererek ele alıyoruz. Modelimiz, dönüşler arasında gelişen Dönüştürülebilir Görüntü Katıştırmaları (TIE) oluşturmak için tüm etkileşim geçmişini yorumlar. Pahalı insan ek açıklamaları olmadan model eğitimini beslemek için, yüksek kaliteli bağlamsal alma verileri üretmek için LMM’lerden yararlanan ve zorlu olumsuzlukları ortaya çıkarmak için model güdümlü doğrulama kullanan tamamen özerk, ölçeklenebilir bir veri motoru geliştiriyoruz. Kapsamlı deneyler, yaklaşımımızın son teknoloji ürünü yeni bir performans ortaya koyduğunu göstermektedir: Zorlu tek dönüşlü
Sonuçlar
kıyaslama Circo’da 39.4 mAP@5 elde ediyoruz; ayrıca, yeni CoCo – IR kıyaslamamızda, modelimiz 4 dönüşlü diyaloglarda 44.1 R@1 ile sağlam performansı koruyor ve çok dönüşlü bağlamı ele alamayan mevcut yöntemlerden (28.2 4 dönüşlü R@1) önemli ölçüde daha iyi performans gösteriyor. Proje sayfası: https://CoCo-IR.github.io.
Yazarlar
Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, Zhe Li, Mojtaba Seyedhosseini, Yu-Xiong Wang, Liang-Yan Gui
Kategoriler
cs.CV
Kaynaklar
Henüz yorum yok. İlk yorumu siz yapın!