ICE-G: Image Conditional Editing of 3D Gaussian Splats

要約

最近、高品質の 3D アセットやシーンを作成するための多くの技術が登場しました。
ただし、これらのオブジェクトの編集に関しては、既存のアプローチでは時間がかかるか、品質が損なわれるか、または十分なカスタマイズが提供されません。
単一の参照ビューから 3D モデルを迅速に編集するための新しいアプローチを紹介します。
私たちの手法では、まず編集画像をセグメント化してから、DINO 機能を使用して、選択したセグメント化されたデータセット ビュー全体で意味的に対応する領域を照合します。
編集イメージの特定の領域からの色またはテクスチャの変更は、意味的に意味のある方法で他のビューに自動的に適用できます。
これらの編集されたビューは、3D シーンをさらにトレーニングして再スタイルするための更新されたデータセットとして機能します。
したがって、最終結果は編集された 3D モデルになります。
私たちのフレームワークでは、手動でのローカル編集、サンプル画像からの対応ベースのスタイル転送、複数のサンプル画像からの異なるスタイルの組み合わせなど、さまざまな編集タスクが可能になります。
速度とローカル編集の容易さのため、私たちは主要な 3D 表現としてガウス スプラットを使用していますが、私たちの技術は NeRF などの他の方法でも同様に機能します。
複数の例を通して、この方法で編集をきめ細かく制御しながら、より高品質な結果が得られることを示します。
プロジェクトページ:ice-gaussian.github.io

要約(オリジナル)

Recently many techniques have emerged to create high quality 3D assets and scenes. When it comes to editing of these objects, however, existing approaches are either slow, compromise on quality, or do not provide enough customization. We introduce a novel approach to quickly edit a 3D model from a single reference view. Our technique first segments the edit image, and then matches semantically corresponding regions across chosen segmented dataset views using DINO features. A color or texture change from a particular region of the edit image can then be applied to other views automatically in a semantically sensible manner. These edited views act as an updated dataset to further train and re-style the 3D scene. The end-result is therefore an edited 3D model. Our framework enables a wide variety of editing tasks such as manual local edits, correspondence based style transfer from any example image, and a combination of different styles from multiple example images. We use Gaussian Splats as our primary 3D representation due to their speed and ease of local editing, but our technique works for other methods such as NeRFs as well. We show through multiple examples that our method produces higher quality results while offering fine-grained control of editing. Project page: ice-gaussian.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google