Indoor Future Person Localization from an Egocentric Wearable Camera

要約

自己中心的なウェアラブルカメラからの将来の人の位置と移動軌跡の正確な予測は、視覚障害者のナビゲーションの支援や障害者の移動支援の開発など、幅広い用途に役立ちます。
この作業では、ウェアラブル カメラを使用して新しい自己中心的なデータセットが構築されました。対象となる人物の 8,250 の短いクリップが、1) 向かって、2) 遠ざかり、3) 屋内環境でカメラ装着者を横切って歩いているか、4) 屋内環境でじっとしていました。
13,817 人の境界ボックスが手動でラベル付けされました。
境界ボックスとは別に、データセットには、対象者の推定ポーズと、各時点でのウェアラブル カメラの IMU 信号も含まれています。
LSTM ベースのエンコーダー/デコーダー フレームワークは、この自己中心的な設定で対象者の将来の位置と移動軌跡を予測するように設計されました。
新しいデータセットに対して広範な実験が行われ、提案された方法が、3 つのベースラインと比較して、ウェアラブル カメラによってキャプチャされた自己中心的なビデオで将来の人物の位置と軌跡を確実かつより適切に予測できることが示されました。

要約(オリジナル)

Accurate prediction of future person location and movement trajectory from an egocentric wearable camera can benefit a wide range of applications, such as assisting visually impaired people in navigation, and the development of mobility assistance for people with disability. In this work, a new egocentric dataset was constructed using a wearable camera, with 8,250 short clips of a targeted person either walking 1) toward, 2) away, or 3) across the camera wearer in indoor environments, or 4) staying still in the scene, and 13,817 person bounding boxes were manually labelled. Apart from the bounding boxes, the dataset also contains the estimated pose of the targeted person as well as the IMU signal of the wearable camera at each time point. An LSTM-based encoder-decoder framework was designed to predict the future location and movement trajectory of the targeted person in this egocentric setting. Extensive experiments have been conducted on the new dataset, and have shown that the proposed method is able to reliably and better predict future person location and trajectory in egocentric videos captured by the wearable camera compared to three baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google