NIGHT — Non-Line-of-Sight Imaging from Indirect Time of Flight Data

要約

カメラの視線外の物体の取得は、非常に興味深いものですが、非常に挑戦的な研究テーマでもあります。
最近の研究では、カスタムの直接飛行時間型センサーによって生成された一時的な画像データを活用するこのアイデアの実現可能性が示されました。
このペーパーでは、追加のハードウェア要件を必要とせずに、既製の間接的な飛行時間センサーからのデータのみを使用して、この問題に初めて取り組みます。
私たちは、光の反射が起こる表面を仮想ミラーとして再フレームできる深層学習モデルを導入しました。
このモデリングにより、タスクの処理が容易になり、注釈付きトレーニング データの構築も容易になります。
取得したデータから、隠されたシーンの奥行き情報を取得することができます。
また、このタスク用にこの種では初の合成データセットを提供し、提案されたアイデアの実現可能性を実証します。

要約(オリジナル)

The acquisition of objects outside the Line-of-Sight of cameras is a very intriguing but also extremely challenging research topic. Recent works showed the feasibility of this idea exploiting transient imaging data produced by custom direct Time of Flight sensors. In this paper, for the first time, we tackle this problem using only data from an off-the-shelf indirect Time of Flight sensor without any further hardware requirement. We introduced a Deep Learning model able to re-frame the surfaces where light bounces happen as a virtual mirror. This modeling makes the task easier to handle and also facilitates the construction of annotated training data. From the obtained data it is possible to retrieve the depth information of the hidden scene. We also provide a first-in-its-kind synthetic dataset for the task and demonstrate the feasibility of the proposed idea over it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google