ARAşTıRMA · GEN AI
arXiv:2608.05145
5 Ağu 2026 · v1
Görsel İşitsel Modal Ses Alanları Olarak Nesneler
Zisen Shao, Zihao Wei, Derong Jin, Ruohan Gao
YAYIN:5 Ağu 2026 ALAN:cs.CL
OKUMA:2 YILDIZ:★ 2.5
Özet
Modern 3B yeniden yapılandırma, nesne geometrisini ve görünümünü modellemede üstünlük sağlarken, fiziksel etkileşim yoluyla ortaya çıkan zengin akustik ipuçlarını büyük ölçüde görmezden gelir. Nesne etkisi sesleri, vizyonu tamamlayan malzeme, sertlik ve yapısal özellikleri iletir, ancak mevcut etki sesi modelleme yaklaşımları ya pahalı fizik tabanlı simülasyona dayanır ya da tamamen veri odaklı bir şekilde genelleştirmek için büyük veri kümeleri gerektirir. Çok görünümlü görüntülerden ve yalnızca birkaç darbe sesi kaydından yeniden oluşturulan yeni bir nesne düzeyinde akustik temsil olan Görsel - İşitsel Modal Ses Alanını (AV - MSF) tanıtıyoruz. AV - MSF, güçlü bir geometri farkındalığı sağlamak için yoğun 3D görsel özellik ile entegre edilmiş 3D Gauss Sıçraması üzerine kuruludur ve sağlam birkaç atışlık yeniden yapılandırma sağlayan kompakt, fiziksel olarak anlamlı modal parametreleri kullanarak darbe sesi alanını temsil eder. İki gerçek dünya veri kümesi üzerinde yapılan deneyler, AV - MSF'nin hem fizik tabanlı hem de veri odaklı temel çizgilerden daha iyi performans göstererek en son teknoloji ürünü ses oluşturma işlemini gerçekleştirdiğini göstermektedir. Ayrıca, kişi yerelleştirme ve nesne ses düzenleme de dahil olmak üzere temsilimiz tarafından etkinleştirilen aşağı akış uygulamalarını gösteriyoruz.
Giriş
Modern 3B yeniden yapılandırma, nesne geometrisini ve görünümünü modellemede üstünlük sağlarken, fiziksel etkileşim yoluyla ortaya çıkan zengin akustik ipuçlarını büyük ölçüde görmezden gelir. Nesne etkisi sesleri, vizyonu tamamlayan malzeme, sertlik ve yapısal özellikleri iletir, ancak mevcut etki sesi modelleme yaklaşımları ya pahalı fizik tabanlı simülasyona dayanır ya da tamamen veri odaklı bir şekilde genelleştirmek için büyük veri kümeleri gerektirir. Çok görünümlü
Araştırma Detayları
görüntülerden ve yalnızca birkaç darbe sesi kaydından yeniden oluşturulan yeni bir nesne düzeyinde akustik temsil olan Görsel – İşitsel Modal Ses Alanını (AV – MSF) tanıtıyoruz. AV – MSF, güçlü bir geometri farkındalığı sağlamak için yoğun 3D görsel özellik ile entegre edilmiş 3D Gauss Sıçraması üzerine kuruludur ve sağlam birkaç atışlık yeniden yapılandırma sağlayan kompakt, fiziksel olarak anlamlı modal parametreleri kullanarak darbe sesi alanını temsil eder. İki gerçek dünya veri kümesi üzerinde yapılan deneyler, AV – MSF’nin hem fizik tabanlı hem de veri odaklı temel çizgilerden daha iyi performans göstererek en son teknoloji ürünü
Sonuçlar
ses oluşturma işlemini gerçekleştirdiğini göstermektedir. Ayrıca, kişi yerelleştirme ve nesne ses düzenleme de dahil olmak üzere temsilimiz tarafından etkinleştirilen aşağı akış uygulamalarını gösteriyoruz.
Yazarlar
Zisen Shao, Zihao Wei, Derong Jin, Ruohan Gao
Kategoriler
cs.CV
Kaynaklar
Henüz yorum yok. İlk yorumu siz yapın!