ORCa: Glossy Objects as Radiance Field Cameras

要約

光沢のあるオブジェクトの反射には、周囲の環境に関する貴重で隠された情報が含まれています。
これらのオブジェクトをカメラに変換することで、カメラの視野を超えたイメージングや、一見不可能な視点からのイメージングなど、エキサイティングなアプリケーションのロックを解除できます。
人間の目の反射から。
ただし、反射はオブジェクトのジオメトリ、マテリアル プロパティ、3D 環境、および観察者の視線方向に同時に依存するため、このタスクは困難です。
私たちのアプローチは、未知のジオメトリを持つ光沢のあるオブジェクトを放射輝度フィールド カメラに変換して、オブジェクトの視点から世界を画像化します。
私たちの重要な洞察は、物体の表面を仮想センサーに変換することです。このセンサーは、物体に見える 5D 環境の放射輝度フィールドの 2D 投影として投射反射をキャプチャします。
環境放射輝度フィールドを回復すると、視野を超えた新しいビュー合成、つまり、存在する光沢のあるオブジェクトにのみ直接見える新しいビューのレンダリングに加えて、オブジェクトからその周囲までの深度と放射輝度の推定が可能になることを示します
観察者ではなく、シーン。
さらに、放射輝度フィールドを使用して、シーン内の近くのオブジェクトによって引き起こされるオクルーダーの周りをイメージできます。
私たちの方法は、オブジェクトのマルチビュー画像でエンドツーエンドでトレーニングされ、オブジェクトのジオメトリ、拡散放射輝度、および 5D 環境放射輝度フィールドを共同で推定します。

要約(オリジナル)

Reflections on glossy objects contain valuable and hidden information about the surrounding environment. By converting these objects into cameras, we can unlock exciting applications, including imaging beyond the camera’s field-of-view and from seemingly impossible vantage points, e.g. from reflections on the human eye. However, this task is challenging because reflections depend jointly on object geometry, material properties, the 3D environment, and the observer viewing direction. Our approach converts glossy objects with unknown geometry into radiance-field cameras to image the world from the object’s perspective. Our key insight is to convert the object surface into a virtual sensor that captures cast reflections as a 2D projection of the 5D environment radiance field visible to the object. We show that recovering the environment radiance fields enables depth and radiance estimation from the object to its surroundings in addition to beyond field-of-view novel-view synthesis, i.e. rendering of novel views that are only directly-visible to the glossy object present in the scene, but not the observer. Moreover, using the radiance field we can image around occluders caused by close-by objects in the scene. Our method is trained end-to-end on multi-view images of the object and jointly estimates object geometry, diffuse radiance, and the 5D environment radiance field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google