Neural Implicit Field Editing Considering Object-environment Interaction

要約

ニューラル・インプリシット・フィールドに基づく 3D シーン編集手法は、広く注目を集めています。
3D 編集タスクで優れた結果を達成しました。
ただし、既存の方法では、オブジェクトとシーン環境の間の相互作用が融合されることがよくあります。
レンダリングビューに影などのシーンの変化が表示されない問題を修正しました。
本稿では，オブジェクトとシーン環境のインタラクションを考慮した新しい2ストリームニューラルレンダリングシステムであるオブジェクトとシーン環境インタラクション対応（OSI対応）システムを提案する．
混合スープから照明条件を取得するために、システムは固有の分解法によってオブジェクトとシーン環境の間の相互作用をうまく分離します。
オブジェクトレベルの編集タスクによるシーンの外観への対応する変更を研究するために、ポイントマッチング戦略による深度マップガイド付きシーン修復法とシャドウレンダリング法を導入します。
広範な実験により、私たちの新しいパイプラインがシーン編集タスクで合理的な外観変更を生成することが実証されました。
また、ノベルビュー合成タスクにおいても、レンダリング品質において競争力のあるパフォーマンスを実現します。

要約(オリジナル)

The 3D scene editing method based on neural implicit field has gained wide attention. It has achieved excellent results in 3D editing tasks. However, existing methods often blend the interaction between objects and scene environment. The change of scene appearance like shadows is failed to be displayed in the rendering view. In this paper, we propose an Object and Scene environment Interaction aware (OSI-aware) system, which is a novel two-stream neural rendering system considering object and scene environment interaction. To obtain illuminating conditions from the mixture soup, the system successfully separates the interaction between objects and scene environment by intrinsic decomposition method. To study the corresponding changes to the scene appearance from object-level editing tasks, we introduce a depth map guided scene inpainting method and shadow rendering method by point matching strategy. Extensive experiments demonstrate that our novel pipeline produce reasonable appearance changes in scene editing tasks. It also achieve competitive performance for the rendering quality in novel-view synthesis tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google