MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation

要約

オブジェクトコンポジットは、拡張現実（AR）と具体化されたインテリジェンスアプリケーションに大きな約束を提供します。
既存のアプローチは、主に単一画像シナリオまたは固有の分解技術に焦点を当てており、マルチビューの一貫性、複雑なシーン、多様な照明条件で課題に直面しています。
3Dガウスベースの方法や拡散ベースの方法などの最近の逆レンダリングの進歩により、一貫性が向上しましたが、シーンごとのスケーラビリティ、重いデータ要件、または長時間の再構成時間によって制限されています。
その適用性を広げるために、2D画像と3Dシーンの両方で照明一貫性のあるオブジェクトを合成するための2段階のフレームワークであるMV-Colightを紹介します。
私たちの新しいフィードフォワードアーキテクチャは、拡散ベースの方法の反復バイアスを避けて、照明と影を直接モデル化します。
Hilbert Curveベースのマッピングを使用して、2D画像入力を3Dガウスシーンの表現とシームレスに揃えます。
トレーニングと評価を容易にするために、さらに大規模な3Dコンポジットデータセットを紹介します。
実験は、標準のベンチマークと当社のデータセット全体で最先端の調和した結果を実証します。また、実際のキャプチャされた現実世界のシーンは、フレームワークの堅牢性と幅広い一般化を示しています。

要約(オリジナル)

Object compositing offers significant promise for augmented reality (AR) and embodied intelligence applications. Existing approaches predominantly focus on single-image scenarios or intrinsic decomposition techniques, facing challenges with multi-view consistency, complex scenes, and diverse lighting conditions. Recent inverse rendering advancements, such as 3D Gaussian and diffusion-based methods, have enhanced consistency but are limited by scalability, heavy data requirements, or prolonged reconstruction time per scene. To broaden its applicability, we introduce MV-CoLight, a two-stage framework for illumination-consistent object compositing in both 2D images and 3D scenes. Our novel feed-forward architecture models lighting and shadows directly, avoiding the iterative biases of diffusion-based methods. We employ a Hilbert curve-based mapping to align 2D image inputs with 3D Gaussian scene representations seamlessly. To facilitate training and evaluation, we further introduce a large-scale 3D compositing dataset. Experiments demonstrate state-of-the-art harmonized results across standard benchmarks and our dataset, as well as casually captured real-world scenes demonstrate the framework’s robustness and wide generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google