Volumetric Disentanglement for 3D Scene Manipulation

要約

近年、差分ボリュームレンダリングの進歩により、複雑な3Dシーンのフォトリアリスティックで精細な再構成において大きなブレークスルーが実現されましたが、これは多くのバーチャルリアリティアプリケーションにとって重要なポイントです。しかし、拡張現実感の文脈では、シーン内のオブジェクトの意味的な操作や拡張を行いたいと考えるかもしれない。この目的のために、我々は(i)背景から与えられた前景オブジェクトの体積表現を分離し、(ii)背景と同様に前景オブジェクトを意味的に操作するための体積的フレームワークを提案する。本フレームワークは、学習用ビューの前景オブジェクトを指定する2Dマスクのセットと、関連する2Dビューとポーズを入力とし、周囲の照明、反射、部分オクルージョンを尊重した前景-背景分離を生成し、学習と新規ビューの両方に適用することが可能である。本手法は、前景と背景の両方のオブジェクトについて、画素の色と深度、および3次元の類似性変換を個別に制御することが可能である。さらに、このフレームワークが、オブジェクトのカモフラージュ、非負の3Dオブジェクトインペインティング、3Dオブジェクト翻訳、3Dオブジェクトインペインティング、3Dテキストベースのオブジェクト操作など、多くの下流操作タスクに適用可能であることを実証する。詳細な結果は、我々のプロジェクトのウェブページ（https://sagiebenaim.github.io/volumetric-disentanglement/）に掲載されています。

要約(オリジナル)

Recently, advances in differential volumetric rendering enabled significant breakthroughs in the photo-realistic and fine-detailed reconstruction of complex 3D scenes, which is key for many virtual reality applications. However, in the context of augmented reality, one may also wish to effect semantic manipulations or augmentations of objects within a scene. To this end, we propose a volumetric framework for (i) disentangling or separating, the volumetric representation of a given foreground object from the background, and (ii) semantically manipulating the foreground object, as well as the background. Our framework takes as input a set of 2D masks specifying the desired foreground object for training views, together with the associated 2D views and poses, and produces a foreground-background disentanglement that respects the surrounding illumination, reflections, and partial occlusions, which can be applied to both training and novel views. Our method enables the separate control of pixel color and depth as well as 3D similarity transformations of both the foreground and background objects. We subsequently demonstrate the applicability of our framework on a number of downstream manipulation tasks including object camouflage, non-negative 3D object inpainting, 3D object translation, 3D object inpainting, and 3D text-based object manipulation. Full results are given in our project webpage at https://sagiebenaim.github.io/volumetric-disentanglement/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL