ShadowNeuS: Neural SDF Reconstruction by Shadow Ray Supervision

要約

シーンとマルチビュー イメージ プレーン間のカメラ レイを管理することにより、NeRF は新しいビュー合成のタスクのためにニューラル シーン表現を再構築します。
一方、光源とシーンの間のシャドウ レイはまだ考慮されていません。
したがって、光線に沿ったサンプルと光線の位置の両方を最適化する、新しいシャドウ レイ監視スキームを提案します。
シャドウ レイを監視することにより、複数の照明条件下で単一ビューの純粋なシャドウまたは RGB 画像からシーンのニューラル SDF を再構築することに成功しました。
単一ビューのバイナリ シャドウが与えられた場合、ニューラル ネットワークをトレーニングして、カメラの視線によって制限されない完全なシーンを再構築します。
画像の色と影の光線の間の相関関係をさらにモデル化することで、この手法を効果的に RGB 入力に拡張することもできます。
単一ビューのバイナリ シャドウまたは RGB 画像からの形状再構成の困難なタスクに関する以前の研究と私たちの方法を比較し、大幅な改善を観察します。
コードとデータが公開されます。

要約(オリジナル)

By supervising camera rays between a scene and multi-view image planes, NeRF reconstructs a neural scene representation for the task of novel view synthesis. On the other hand, shadow rays between the light source and the scene have yet to be considered. Therefore, we propose a novel shadow ray supervision scheme that optimizes both the samples along the ray and the ray location. By supervising shadow rays, we successfully reconstruct a neural SDF of the scene from single-view pure shadow or RGB images under multiple lighting conditions. Given single-view binary shadows, we train a neural network to reconstruct a complete scene not limited by the camera’s line of sight. By further modeling the correlation between the image colors and the shadow rays, our technique can also be effectively extended to RGB inputs. We compare our method with previous works on challenging tasks of shape reconstruction from single-view binary shadow or RGB images and observe significant improvements. The code and data will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google