Incorporating dense metric depth into neural 3D representations for view synthesis and relighting

要約

小さなシーンの正確なジオメトリと写真のようにリアルな外観の合成は、ゲーム、仮想現実、ロボット操作、自動運転、便利な製品キャプチャ、および消費者レベルの写真撮影における魅力的な使用例を伴う活発な研究分野です。
シーンのジオメトリと外観の推定手法をロボット工学に適用した場合、ロボットの動作範囲が限られているため、可能な視点の範囲が狭くなり、シーンが乱雑になるため、現在の推定手法では低品質の推定が生成されたり、失敗することさえあることがわかりました。
一方、ロボットアプリケーションでは、多くの場合、ステレオを使用して高密度メトリック深度を直接測定でき、照明を制御できます。
深度は、オブジェクトのジオメトリの適切な初期推定値を提供して再構成を改善することができ、また、多重照明画像は再照明を容易にすることができます。
この研究では、ニューラル 3D 表現のトレーニングに高密度メトリック深度を組み込む方法を実証し、テクスチャとジオメトリ エッジの間の曖昧さをなくすことでジオメトリと外観を共同で調整する際に観察されるアーティファクトに対処します。
また、パイプラインに必要なデータをキャプチャし、再照明の結果を示し、いくつかのトレーニング ビューを使用したビュー合成を示すために開発されたマルチフラッシュ ステレオ カメラ システムについても説明します。

要約(オリジナル)

Synthesizing accurate geometry and photo-realistic appearance of small scenes is an active area of research with compelling use cases in gaming, virtual reality, robotic-manipulation, autonomous driving, convenient product capture, and consumer-level photography. When applying scene geometry and appearance estimation techniques to robotics, we found that the narrow cone of possible viewpoints due to the limited range of robot motion and scene clutter caused current estimation techniques to produce poor quality estimates or even fail. On the other hand, in robotic applications, dense metric depth can often be measured directly using stereo and illumination can be controlled. Depth can provide a good initial estimate of the object geometry to improve reconstruction, while multi-illumination images can facilitate relighting. In this work we demonstrate a method to incorporate dense metric depth into the training of neural 3D representations and address an artifact observed while jointly refining geometry and appearance by disambiguating between texture and geometry edges. We also discuss a multi-flash stereo camera system developed to capture the necessary data for our pipeline and show results on relighting and view synthesis with a few training views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google