A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation

要約

【タイトル】
イベントカメラを用いた人間のポーズ推定のための時間的に密接に接続されたリカレントネットワーク

【要約】
・イベントカメラは、非同期でピクセルごとの輝度変化を報告するバイオインスパイアドビジョンセンサーである。
・イベントカメラは、高いダイナミックレンジ、高速な応答性、低い電力予算の可視化に優れており、制御されていない環境下での局所的な動きを最も正確にキャプチャできる能力を持つ
・人間のポーズ推定において、イベントカメラの可能性を引き出すために一定の利点がある
・従来のフレームベースのカメラからの新しいパラダイムシフトにより、時間間隔のイベント信号には非常に限られた情報しか含まれていない
・本論文では、不完全な情報の問題に対処するために、新しい密接に接続されたリカレントアーキテクチャを提案する
・このリカレントアーキテクチャにより、シーケンシャルなジオメトリックコンシステンシーだけでなく、時間ステップ間の非シーケンシャルなジオメトリックコンシステンシーを明示的にモデル化することで、前のフレームから情報を蓄積し、完全な人体を回復する
・さらに、自分たちで収集した大規模でマルチモーダルなイベントベースのデータセットを用いて、モデルを評価することができた
・本手法の実験結果は、公開されている2つのデータセットと自分たちで収集したデータセットで、効果的かつ強力であることを示している。将来の研究を促進するために、コードをオンラインで提供している。

要約(オリジナル)

Event camera is an emerging bio-inspired vision sensors that report per-pixel brightness changes asynchronously. It holds noticeable advantage of high dynamic range, high speed response, and low power budget that enable it to best capture local motions in uncontrolled environments. This motivates us to unlock the potential of event cameras for human pose estimation, as the human pose estimation with event cameras is rarely explored. Due to the novel paradigm shift from conventional frame-based cameras, however, event signals in a time interval contain very limited information, as event cameras can only capture the moving body parts and ignores those static body parts, resulting in some parts to be incomplete or even disappeared in the time interval. This paper proposes a novel densely connected recurrent architecture to address the problem of incomplete information. By this recurrent architecture, we can explicitly model not only the sequential but also non-sequential geometric consistency across time steps to accumulate information from previous frames to recover the entire human bodies, achieving a stable and accurate human pose estimation from event data. Moreover, to better evaluate our model, we collect a large scale multimodal event-based dataset that comes with human pose annotations, which is by far the most challenging one to the best of our knowledge. The experimental results on two public datasets and our own dataset demonstrate the effectiveness and strength of our approach. Code can be available online for facilitating the future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI