Personalize Your Gaussian: Consistent 3D Scene Personalization from a Single Image

要約

単一のリファレンス画像から3Dシーンをパーソナライズすると、直感的なユーザーガイド付き編集が可能になり、視点間でマルチビューの一貫性と入力画像との参照の一貫性の両方を達成する必要があります。
ただし、これらの目標は、単一の画像で提供される限られた視点によって引き起こされる視点バイアスのために、特に困難です。
元のビューを超えて参照情報を効果的に拡張するメカニズムがないため、画像条件付けされた3DGSパーソナライズの既存の方法は、この観点のバイアスに苦しみ、一貫した結果を生み出すのに苦労します。
したがって、このホワイトペーパーでは、3Dガウススプラッティング（CP-GS）の一貫したパーソナライズを提示します。これは、新しい視点へのシングルビュー参照の外観を徐々に伝播するフレームワークです。
特に、CP-GSは、事前に訓練された画像から3Dの発電と反復的なロラの微調整を統合して、参照の外観を抽出および拡張し、最終的に、幾何学的キューに導かれるビューコンシンゲーション生成プロセスを通じて、忠実なマルチビューガイダンス画像とパーソナライズされた3DGS出力を生成します。
現実世界のシーンでの広範な実験は、CP-Gが視点バイアスを効果的に軽減し、既存の方法を大幅に上回る高品質のパーソナライズを達成することを示しています。
コードはhttps://github.com/yuxuan-w/cp-gsでリリースされます。

要約(オリジナル)

Personalizing 3D scenes from a single reference image enables intuitive user-guided editing, which requires achieving both multi-view consistency across perspectives and referential consistency with the input image. However, these goals are particularly challenging due to the viewpoint bias caused by the limited perspective provided in a single image. Lacking the mechanisms to effectively expand reference information beyond the original view, existing methods of image-conditioned 3DGS personalization often suffer from this viewpoint bias and struggle to produce consistent results. Therefore, in this paper, we present Consistent Personalization for 3D Gaussian Splatting (CP-GS), a framework that progressively propagates the single-view reference appearance to novel perspectives. In particular, CP-GS integrates pre-trained image-to-3D generation and iterative LoRA fine-tuning to extract and extend the reference appearance, and finally produces faithful multi-view guidance images and the personalized 3DGS outputs through a view-consistent generation process guided by geometric cues. Extensive experiments on real-world scenes show that our CP-GS effectively mitigates the viewpoint bias, achieving high-quality personalization that significantly outperforms existing methods. The code will be released at https://github.com/Yuxuan-W/CP-GS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google