Dense Depth from Event Focal Stack

要約

イベントカメラに取り付けられた駆動レンズの焦点面を掃引するときに生成されるイベントストリームから高密度深度を推定する方法を提案します。
この手法では、合成されたイベント フォーカル スタックでトレーニングされた畳み込みニューラル ネットワークを使用して、イベント ストリームで構成される「イベント フォーカル スタック」から深度マップが推論されます。
合成されたイベント ストリームは、任意の 3D シーンに対して Blender によって生成されたフォーカル スタックから作成されます。
これにより、多様な構造のシーンでのトレーニングが可能になります。
さらに、実際のイベント ストリームと合成イベント ストリームの間のドメイン ギャップを解消する方法を検討しました。
私たちの方法は、合成データセットと実際のデータセットの画像領域で焦点ぼけからの深度方法よりも優れたパフォーマンスを示します。

要約(オリジナル)

We propose a method for dense depth estimation from an event stream generated when sweeping the focal plane of the driving lens attached to an event camera. In this method, a depth map is inferred from an “event focal stack” composed of the event stream using a convolutional neural network trained with synthesized event focal stacks. The synthesized event stream is created from a focal stack generated by Blender for any arbitrary 3D scene. This allows for training on scenes with diverse structures. Additionally, we explored methods to eliminate the domain gap between real event streams and synthetic event streams. Our method demonstrates superior performance over a depth-from-defocus method in the image domain on synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google