Seeing the World through Your Eyes

要約

人間の目の反射という性質は、私たちの周囲の世界がどのように見えるかについての情報源として過小評価されています。
動いている人の目を画像化することで、目の反射を通してカメラの直接視線の外にあるシーンの複数のビューを収集できます。
この論文では、目の反射を含むポートレート画像を使用して、カメラの視線を超えた 3D シーンを再構成します。
このタスクは、1) 目の姿勢を正確に推定することが難しいこと、2) 目の虹彩とシーンの反射が複雑に絡み合っているため、困難です。
私たちの方法は、角膜のポーズ、シーンを描写する放射フィールド、および観察者の目の虹彩のテクスチャを共同で洗練させます。
さらに、再構成の品質を向上させるために、虹彩テクスチャ パターンの前に単純な正則化を提案します。
さまざまな目の色の人々をフィーチャーした合成キャプチャと現実世界のキャプチャに関するさまざまな実験を通じて、目の反射を使用して 3D シーンを復元するアプローチの実現可能性を実証します。

要約(オリジナル)

The reflective nature of the human eye is an underappreciated source of information about what the world around us looks like. By imaging the eyes of a moving person, we can collect multiple views of a scene outside the camera’s direct line of sight through the reflections in the eyes. In this paper, we reconstruct a 3D scene beyond the camera’s line of sight using portrait images containing eye reflections. This task is challenging due to 1) the difficulty of accurately estimating eye poses and 2) the entangled appearance of the eye iris and the scene reflections. Our method jointly refines the cornea poses, the radiance field depicting the scene, and the observer’s eye iris texture. We further propose a simple regularization prior on the iris texture pattern to improve reconstruction quality. Through various experiments on synthetic and real-world captures featuring people with varied eye colors, we demonstrate the feasibility of our approach to recover 3D scenes using eye reflections.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google