Seeing the World through Your Eyes

要約

人間の目の反射特性は、私たちの周りの世界がどのように見えるかについての情報源として、過小評価されている。動いている人の目を撮像することで、目の反射を通して、カメラの直接視線の外にあるシーンの複数のビューを収集することができる。本論文では、目の反射を含むポートレート画像を用いて、カメラの視線の先にある3Dシーンを再構成する。このタスクは、1)目のポーズを正確に推定することの難しさ、2)目の虹彩とシーンの反射のもつれにより、困難である。本手法は、角膜のポーズ、シーンを描写する輝度場、観察者の目の虹彩のテクスチャを共同で精製する。さらに、再構成品質を向上させるために、虹彩テクスチャパターンに対する簡単な正則化事前処理を提案する。様々な目の色を持つ人物を用いた合成キャプチャと実世界のキャプチャに対する様々な実験を通して、目の反射を利用して3Dシーンを復元する我々のアプローチの実現可能性を示す。

要約(オリジナル)

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera’s direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera’s line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer’s eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL