DRAWER: Digital Reconstruction and Articulation With Environment Realism

要約

現実世界のデータから仮想デジタルレプリカを作成すると、ゲームやロボット工学などのドメイン全体で重要な可能性が解除されます。
この論文では、静的な屋内シーンのビデオをフォトリアリスティックでインタラクティブなデジタル環境に変換する新しいフレームワークである引き出しを提示します。
私たちのアプローチは、2つの主要な貢献に焦点を当てています。（i）微調整された幾何学的な詳細でシーンを再構築するデュアルシーン表現に基づく再構成モジュールと、（ii）明確なタイプとヒンジの位置を識別する明確な形状を識別し、シミュレーション可能なシェープと外観を再構築し、シンガーに統合します。
結果として得られる仮想環境は、ゲームエンジンとロボットシミュレーションプラットフォームと互換性があり、リアルタイムでフォトリアリスティックでインタラクティブで実行されます。
引き出しを使用して、非現実的なエンジンでインタラクティブなゲームを自動的に作成し、ロボット工学アプリケーションのリアルからリアルへの転送を可能にすることにより、引き出しの可能性を示します。

要約(オリジナル)

Creating virtual digital replicas from real-world data unlocks significant potential across domains like gaming and robotics. In this paper, we present DRAWER, a novel framework that converts a video of a static indoor scene into a photorealistic and interactive digital environment. Our approach centers on two main contributions: (i) a reconstruction module based on a dual scene representation that reconstructs the scene with fine-grained geometric details, and (ii) an articulation module that identifies articulation types and hinge positions, reconstructs simulatable shapes and appearances and integrates them into the scene. The resulting virtual environment is photorealistic, interactive, and runs in real time, with compatibility for game engines and robotic simulation platforms. We demonstrate the potential of DRAWER by using it to automatically create an interactive game in Unreal Engine and to enable real-to-sim-to-real transfer for robotics applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google