Code2Video, video oluşturmaya rehberlik etmek için aracı tarafından yazılan 3D proxy'leri kullanarak yapı ve dinamikler üzerinde açık kontrol sağlar. Bununla birlikte, optimum aşağı akış kalitesi için proxy'lerin ve istemlerin nasıl oluşturulacağı ve bu paradigmanın yetenekleri ve sınırlamaları henüz yeterince araştırılmamıştır. Kontrollü deneyler ve kör insan değerlendirmeleri aracılığıyla temsili ayrıntı düzeyi, fizik simülasyonu ve yönlendirme üzerinde çalışıyoruz.
- Code2Video, video oluşturmaya rehberlik etmek için aracı tarafından yazılan 3D proxy'leri kullanarak yapı ve dinamikler üzerinde açık kontrol sağlar.
- Bununla birlikte, optimum aşağı akış kalitesi için proxy'lerin ve istemlerin nasıl oluşturulacağı ve bu paradigmanın yetenekleri ve sınırlamaları henüz yeterince araştırılmamıştır.
- Kontrollü deneyler ve kör insan değerlendirmeleri aracılığıyla temsili ayrıntı düzeyi, fizik simülasyonu ve yönlendirme üzerinde çalışıyoruz.
Code2Video, video oluşturmaya rehberlik etmek için aracı tarafından yazılan 3D proxy'leri kullanarak yapı ve dinamikler üzerinde açık kontrol sağlar.
02 Özet
Code2Video, video oluşturmaya rehberlik etmek için aracı tarafından yazılan 3D proxy'leri kullanarak yapı ve dinamikler üzerinde açık kontrol sağlar. Bununla birlikte, optimum aşağı akış kalitesi için proxy'lerin ve istemlerin nasıl oluşturulacağı ve bu paradigmanın yetenekleri ve sınırlamaları henüz yeterince araştırılmamıştır. Kontrollü deneyler ve kör insan değerlendirmeleri aracılığıyla temsili ayrıntı düzeyi, fizik simülasyonu ve yönlendirme üzerinde çalışıyoruz. Sonuçlar göreve bağlı değiş tokuşları ortaya koyuyor: kaba temsiller doğal hareketi desteklerken, orta taneli temsiller tutarlılığı destekliyor. Fizik simülasyonu ve proxy uyumlu yönlendirme, ortalama kaliteyi daha da artırır. Bu bulguların rehberliğinde, Code2Video oluşturma için proxy kılavuzlu ve doğrudan oluşturma arasında seçim yapan, modelleme ayrıntı düzeyini her varlığa uyarlayan ve simülasyonu proxy temelli yönlendirmeyle koordine eden, göreve uyarlanabilir bir aracı çerçeve olan Coda-DaVinci'yi tanıtıyoruz. Çoklu ajan donanımı, olay yerindeki varlıkları korur ve görsel inceleme ve bağımsız inceleme yoluyla onarımlara rehberlik eder. Deneyler, VTR'de önde gelen talimatların takip edildiğini ve R2M'de sahne tutarlılığını, doğrudan oluşturmaya göre gelişmiş fiziksel inandırıcılığı ve karşılaştırılan Code2Video taban çizgilerine göre daha yüksek görsel gerçekçiliği göstermektedir. Uzun video değerlendirmeleri ayrıca olay yapısındaki kazanımları ve ardışık etkileşimler arasındaki tutarlılığı gösterirken, geçiş stabilitesindeki ve sahne ayarlarına bağlılıktaki sınırlamaları da ortaya koyuyor.
Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.
Code2Video uses agent-authored 3D proxies to guide video generation, enabling explicit control over structure and dynamics. However, how to construct proxies and prompts for optimal downstream quality remains underexplored, as do the capabilities and limitations of this paradigm. Through controlled experiments and blinded human evaluation, we study proxy granularity, physics simulation, and prompting. The results reveal task-dependent trade-offs: coarse proxies favor natural motion, while medium-grained proxies favor consistency. Physics simulation and proxy-aligned prompting further improve average quality. Guided by these findings, we introduce Coda-DaVinci, a task-adaptive agentic framework for Code2Video generation that selects between proxy-guided and direct generation, adapts modeling granularity to each entity, and coordinates simulation with proxy-grounded prompting. Its multi-agent harness preserves scene assets and guides repairs through visual inspection and independent review. Experiments demonstrate leading instruction following on VTR and scene consistency on R2M, improved physical plausibility over direct generation, and higher visual realism than the compared Code2Video baselines. Long-video evaluations further show gains in event structure and consistency across successive interactions, while revealing limitations in transition stability and adherence to scene settings.
03 PDF
Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.
04 Kaynak göster
@article{ji2026codadavinci,
title = {Coda-DaVinci: Reimagining Video Generation with Code2Video},
author = {Yiyan Ji and Qixun Wang and Yang Shi and Zhuoran Zhang and Yifan Xu and Tengfei Liu and Yuqi Tang and Xiaohan Zhang and Shujie Li and Jiafu Tang and Xuanyu Zhu and Xinyu Liu and Yan He and Yushuo Guan and Zihao Wang and Xianghua Ying and Shixuan Liu and Haotian Wang and Wenjing Yang and Zhaoxiang Zhang and Yuanxing Zhang and Pengfei Wan and Jiaheng Liu},
journal = {arXiv preprint arXiv:2611.26595},
year = {2026},
url = {https://arxiv.org/abs/2611.26595}
}
Ji, Y., Wang, Q., Shi, Y., Zhang, Z., Xu, Y., Liu, T., Tang, Y., Zhang, X., Li, S., Tang, J., Zhu, X., Liu, X., He, Y., Guan, Y., Wang, Z., Ying, X., Liu, S., Wang, H., Yang, W., Zhang, Z., Zhang, Y., Wan, P., & Liu, J. (2026). Coda-DaVinci: Code2Video ile Video Üretimini Yeniden Tasarlamak. arXiv. https://arxiv.org/abs/2611.26595
Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.
Yorum yazın