Humans as Light Bulbs: 3D Human Reconstruction from Thermal Reflection

要約

タイトル： 「人間をランプにする：熱反射からの3D人物再構成」

要約：

– 人間の体温は比較的高いため、人間は長波赤外線光源になる。
– この放射された光は可視光よりも波長が大きいため、一般的なシーンの多くの表面は強い鏡面反射を持つ赤外線鏡として機能する。
– 我々は、人が一般的なカメラでは見えなくても、オブジェクトに熱反射することを利用して、彼らの位置を特定し、姿勢を再構築することができる。
– 我々は、オブジェクト、人間、そして彼らの熱反射を共同でモデル化する解析合成フレームワークを提案し、異なる反射の微分レンダリングと生成モデルを組み合わせることができる。
– 定量的・定性的な実験により、私たちのアプローチが、曲面との場合や、通常のカメラでは完全に見えない場合など、非常に困難な環境で機能することが示された。

要約(オリジナル)

The relatively hot temperature of the human body causes people to turn into long-wave infrared light sources. Since this emitted light has a larger wavelength than visible light, many surfaces in typical scenes act as infrared mirrors with strong specular reflections. We exploit the thermal reflections of a person onto objects in order to locate their position and reconstruct their pose, even if they are not visible to a normal camera. We propose an analysis-by-synthesis framework that jointly models the objects, people, and their thermal reflections, which allows us to combine generative models with differentiable rendering of reflections. Quantitative and qualitative experiments show our approach works in highly challenging cases, such as with curved mirrors or when the person is completely unseen by a normal camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI