Event-based Non-Rigid Reconstruction from Contours

要約

時間の経過に伴う高速で非剛体の変形を視覚的に再構成することは、従来のフレームベースのカメラにとって課題です。
この論文では、イベントベースのカメラからの測定値を使用して、このような変形を再構築するための新しいアプローチを提案します。
すべてのイベントが動きによって生成される静的な背景の仮定の下で、私たちのアプローチは、確率論的最適化フレームワークでオブジェクトの輪郭で生成されたイベントからオブジェクトの変形を推定します。
イベントを輪郭上のメッシュ面に関連付け、イベント ピクセルを通る視線と関連付けられた面との位置合わせを最大化します。
合成データと実際のデータの実験で、人間の手の動きを再構築するための最先端の最適化と学習ベースのアプローチに対する私たちの方法の利点を示します。
実験のビデオは、https://youtu.be/gzfw7i5OKjg で入手できます。

要約(オリジナル)

Visual reconstruction of fast non-rigid object deformations over time is a challenge for conventional frame-based cameras. In this paper, we propose a novel approach for reconstructing such deformations using measurements from event-based cameras. Under the assumption of a static background, where all events are generated by the motion, our approach estimates the deformation of objects from events generated at the object contour in a probabilistic optimization framework. It associates events to mesh faces on the contour and maximizes the alignment of the line of sight through the event pixel with the associated face. In experiments on synthetic and real data, we demonstrate the advantages of our method over state-of-the-art optimization and learning-based approaches for reconstructing the motion of human hands. A video of the experiments is available at https://youtu.be/gzfw7i5OKjg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google