GSCV++: Standart Video Codec’leri aracılığıyla Hafif 3D Gaussian Splatting Dizisi Sıkıştırma

Özetle: Bu makale, standart {V}ideo codec bileşenleriyle 3B {G}Avustralya {S}platting (GS) dizileri {C}sıkıştırma için hafif bir ardışık düzen olan GSCV++'ı sunmaktadır.

Özet

Bu makale, standart {V}ideo codec bileşenleriyle 3B {G}Avustralya {S}platting (GS) dizileri {C}sıkıştırma için hafif bir ardışık düzen olan GSCV++'ı sunmaktadır. Sektörün düşük karmaşıklık ve donanım uyumluluğu gereksinimlerini karşılamak için GSCV++, ön işlemeyi, 3D'den 2D'ye haritalamayı ve GS sıkıştırmanın pratik video sıkıştırma yapılandırmasını birlikte geliştirir. İlk olarak, ön işleme için, kompakt ve kararlı bir geçici SH AC özellik alanı üretmek amacıyla enerjiye uyarlanabilir çerçeveler arası küresel harmonik (SH) alternatif akım (AC) boyutsallık azaltımı (EA-SHDR) önerilmektedir. Gereksiz bilgileri ortadan kaldırırken daha az karmaşıklığın yanı sıra, takip eden haritalama ve pratik sıkıştırmanın veri hacmini azaltabilir. İkincisi, 3D'den 2D'ye haritalama için, önceki tabanlı Inter-MiniPLAS (P-MiniPLAS), önceki tabanlı ağırlıklandırma faktörü çıkarımı ve küçük ölçekli yeniden haritalama yoluyla düzgün 2D özellik haritaları oluşturmak üzere tasarlanmıştır. Sıradan Paralel Doğrusal Atama Sıralaması (PLAS) ve Morton taramasıyla karşılaştırıldığında P-MiniPLAS, düşük düzeyde hesaplama karmaşıklığını korurken oluşturulan 2D haritaların video codec bileşeni için daha uygun olmasını sağlar. Üçüncüsü, pratik sıkıştırma için, içeriğe duyarlı genelleştirilmiş sıkıştırma (CA-GC), koordinat haritası üretimi için tekdüze olmayan bir bit derinliği bölmesi kullanacak şekilde geliştirildi ve verimli sıkıştırma karmaşıklığı kontrolü için, normatif değişiklikler gerektirmeden video codec bileşenlerinin performansından tam olarak yararlanan bir kodlama birimi boyutu seçimi tanıtıldı. Deneyler, GSCV++'ın en son teknolojiye sahip (SOTA) yöntemlerle karşılaştırıldığında %20'nin üzerinde iç tahmin oranı ve %60'ın üzerinde tahminler arası oran distorsiyon kazancı rapor ettiğini göstermektedir. GSCV++ aynı tür video codec'lerini kullanan diğer SOTA yöntemlerine kıyasla daha hızlı 2D harita oluşturma, kodlama ve kod çözme olanağı sağlar. Ablasyon çalışmaları, önerilen modüllerin etkinliğini ve sağlamlığını doğrular ve sonraki araştırmalar için öngörü sağlar.

Orijinal Özet (İngilizce)

This paper presents GSCV++, a lightweight pipeline for 3D {G}aussian {S}platting (GS) sequences {C}ompression with standard {V}ideo codecs. To meet the requirements of low-complexity and hardware compatibility from the industry, GSCV++ jointly improves preprocessing, 3D-to-2D mapping, and practical video compression configuration of GS compression. First, for preprocessing, energy-adaptive inter-frame spherical harmonic (SH) alternative current (AC) dimensionality reduction (EA-SHDR) is proposed to produces a compact and stable temporal SH AC feature space. It can reduce the data volume of following mapping and practical compression, as well as less complexity while eliminating redundant information. Second, for 3D-to-2D mapping, prior-based Inter-MiniPLAS (P-MiniPLAS) is designed to generate smooth 2D feature maps through prior-based weighting factor inference and small scale remapping. Compared with vanilla Parallel Linear Assignment Sorting (PLAS) and Morton scan, P-MiniPLAS ensures the generated 2D maps are more suitable for the video codec while maintaining a low level of computational complexity. Third, for practical compression, content-aware generalized compression (CA-GC) is developed to use a non-uniform bit-depth split for coordinate map generation, and a coding unit size selection is introduced for efficient compression complexity control, which fully exploits the performance of video codecs without involving normative changes. Experiments demonstrate that GSCV++ reports over 20% in intra- and 60% in inter-prediction rate-distortion gains compared with state-of-the-art (SOTA) methods. GSCV++ also achieves faster 2D map generation, encoding, and decoding than other SOTA methods using the same type of video codecs. Ablation studies verify the effectiveness and robustness of the proposed modules and provide insights for subsequent research.

Kaynak: arXiv:2611.05359 · PDF