DeFeeNet: Consecutive 3D Human Motion Prediction with Deviation Feedback

要約

タイトル：DeFeeNet：偏差フィードバックを用いた連続する3D人間動作の予測

要約：
– 人間の動作予測技術が必要とされる実世界のシナリオを再考する必要がある。
– 現在の方法では、短期間の将来のシーケンスを予測することを単一のプロセスとして単純化している。
– しかし、実際の応用では、単一の「観察して予測する」ユニットではなく、全体のシーケンスに沿って半重なり合う多数のラウンドから構成される連続プロセスであることが多い。
– 時間が経過すると、前のラウンドの予測部分は新しいラウンドで対応するグラウンド・トゥルースが観測可能になるが、その間の偏差は既存の孤立学習方法で捉えることができず、利用しきれていない。
– この論文では、予測モデルに偏差知覚とフィードバックを実現するために、既存の単発予測モデルに追加できるシンプルかつ効果的なネットワークDeFeeNetを提案する。
– 各予測ラウンドで、前のユニットによって生成された偏差はまずDeFeeNetでエンコードされ、その後既存の予測方式に組み込まれ、周辺の予測ユニット間で情報伝達が初めて可能となる偏差感知型予測方式にする。
– 2つのバージョンのDeFeeNetを、それぞれMLPベースとGRUベースで設計する。
– Human3.6Mおよびより複雑なBABELでの実験結果は、提案されたネットワークが基本モデルに関係なく連続する人間の動作予測性能を向上させることを示している。

要約(オリジナル)

Let us rethink the real-world scenarios that require human motion prediction techniques, such as human-robot collaboration. Current works simplify the task of predicting human motions into a one-off process of forecasting a short future sequence (usually no longer than 1 second) based on a historical observed one. However, such simplification may fail to meet practical needs due to the neglect of the fact that motion prediction in real applications is not an isolated “observe then predict” unit, but a consecutive process composed of many rounds of such unit, semi-overlapped along the entire sequence. As time goes on, the predicted part of previous round has its corresponding ground truth observable in the new round, but their deviation in-between is neither exploited nor able to be captured by existing isolated learning fashion. In this paper, we propose DeFeeNet, a simple yet effective network that can be added on existing one-off prediction models to realize deviation perception and feedback when applied to consecutive motion prediction task. At each prediction round, the deviation generated by previous unit is first encoded by our DeFeeNet, and then incorporated into the existing predictor to enable a deviation-aware prediction manner, which, for the first time, allows for information transmit across adjacent prediction units. We design two versions of DeFeeNet as MLP-based and GRU-based, respectively. On Human3.6M and more complicated BABEL, experimental results indicate that our proposed network improves consecutive human motion prediction performance regardless of the basic model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI