A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation

要約

タイトル：時間的に密接に接続された再帰ネットワークによるイベントベースの人間のポーズ推定

要約：

– イベントカメラは、ビオインスパイアされた新興のビジョンセンサーであり、ピクセルごとの明るさの変化を非同期に報告します。
– イベントカメラは高いダイナミックレンジ、高速応答、低電力予算の顕著な利点を持っているため、制御されていない環境での局所的な動きを最もよく捉えることができます。
– このことから、従来のフレームベースのカメラからの新しいパラダイムシフトにより、イベントカメラでの人間のポーズ推定はほとんど探求されていません。
– しかしながら、時間的区間内でのイベント信号には非常に限られた情報しか含まれていないため、イベントカメラは移動する体の部位しか捉えないため、静的な体の部位が欠落していることがあります。
– この問題を解決するために、この論文は新しい密接に接続された再帰アーキテクチャを提案します。
– この再帰アーキテクチャにより、我々は前のフレームから情報を蓄積して、シーケンシャルおよびノンシーケンシャルの幾何学的一貫性を明示的にモデル化することができ、自動的に人間の体全体を回復して安定的かつ正確な人間のポーズ推定を達成することができます。
– また、より良い評価のために、自分たちでヒトのポーズ注釈とともに大規模なマルチモーダルのイベントベースデータセットを収集します。
– 2つの公共データセットと私たち自身のデータセットでの実験結果は、我々のアプローチの有効性と強さを示し、今後の研究を促進するためのコードがオンラインで利用可能であることを報告しています。

要約(オリジナル)

Event camera is an emerging bio-inspired vision sensors that report per-pixel brightness changes asynchronously. It holds noticeable advantage of high dynamic range, high speed response, and low power budget that enable it to best capture local motions in uncontrolled environments. This motivates us to unlock the potential of event cameras for human pose estimation, as the human pose estimation with event cameras is rarely explored. Due to the novel paradigm shift from conventional frame-based cameras, however, event signals in a time interval contain very limited information, as event cameras can only capture the moving body parts and ignores those static body parts, resulting in some parts to be incomplete or even disappeared in the time interval. This paper proposes a novel densely connected recurrent architecture to address the problem of incomplete information. By this recurrent architecture, we can explicitly model not only the sequential but also non-sequential geometric consistency across time steps to accumulate information from previous frames to recover the entire human bodies, achieving a stable and accurate human pose estimation from event data. Moreover, to better evaluate our model, we collect a large scale multimodal event-based dataset that comes with human pose annotations, which is by far the most challenging one to the best of our knowledge. The experimental results on two public datasets and our own dataset demonstrate the effectiveness and strength of our approach. Code can be available online for facilitating the future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI