Isekai3D SDG: Çeşitli Sentetik Oyun Görsel Verileri için Bir Platform

Özetle: Vizyon ve dünya modelleri, sinir grafikleri, oyun aracıları ve diğer uygulamalara yönelik araştırmalar için sentetik 3D oynanışı simüle etmeye ve yakalamaya yönelik bir platform olan Isekai3D Sentetik Veri Üretimi'ni (S…

Özet

Vizyon ve dünya modelleri, sinir grafikleri, oyun aracıları ve diğer uygulamalara yönelik araştırmalar için sentetik 3D oynanışı simüle etmeye ve yakalamaya yönelik bir platform olan Isekai3D Sentetik Veri Üretimi'ni (SDG) sunuyoruz. Platform, yeniden kullanılabilir ortam ve karakter varlıklarını Unreal Engine eklentileriyle iki aşamalı bir iş akışında birleştirir. İlk olarak, dünya simülasyonu, tekrar oynatma için gerekli olan dünya durumunu, karakter hareketlerini, eylemleri ve kamera izlerini kaydederken oynanış üretir. İkinci olarak, kaydedilen simülasyon, işlenmiş video, görüntüler ve derinlik haritaları gibi seçilen çıktıları, seçilen işleme ve kamera yapılandırmaları altında belirli bir çözünürlük ve kare hızında yakalamak için yeniden oynatılır. Simülasyonu yakalamadan ayırmak, aynı kayıtlı oyunun, orijinal simülasyonu tekrarlamadan birden fazla çıktı çeşidi üretmesine olanak tanır. Görsel çıktılara çerçeveye hizalanmış kamera, karakter ve eylem meta verileri eşlik eder. Platform, oluşturulan verileri doğrudan eğitim dostu bir formatta yükleyerek ara depolamayı, hazırlık süresini ve manuel işlemeyi azaltır. Bu rapor, platformun varlıkları, eklentileri ve işlevleri de dahil olmak üzere genel sistemimizin tasarımını açıklayarak çeşitli sentetik oyun verileri oluşturmak için birlikte nasıl çalıştıklarını açıklıyor.

Orijinal Özet (İngilizce)

We present Isekai3D Synthetic Data Generation (SDG), a platform for simulating and capturing synthetic 3D gameplay for research in vision and world models, neural graphics, gameplay agents, and other applications. The platform combines reusable environment and character assets with Unreal Engine plugins in a two-stage workflow. First, world simulation generates gameplay while recording the world state, character movements, actions, and camera tracks needed for replay. Second, the recorded simulation is replayed to capture selected outputs, such as rendered video, images, and depth maps, at a specified resolution and frame rate under selected rendering and camera configurations. Separating simulation from capture allows the same recorded gameplay to produce multiple output variants without repeating the original simulation. Visual outputs are accompanied by frame-aligned camera, character, and action metadata. The platform uploads generated data directly in a training-friendly format, reducing intermediate storage, preparation time, and manual processing. This report describes the design of our overall system, including the platform's assets, plugins, and their functionality, explaining how they work together to generate diverse synthetic gameplay data.

Kaynak: arXiv:2611.03626 · PDF