DeFeeNet: Consecutive 3D Human Motion Prediction with Deviation Feedback

要約

タイトル: DeFeeNet: 逐次的な３D人物動作推定における偏差フィードバック

要約:
– 現在の人物動作推定技術は、過去の人物動作の一連の短い未来予測シーケンス(通常1秒以下)をもとにして、一度の過程で動作を推定することを単純化している。
– しかし、実際のアプリケーションにおいては、動作推定は単なる「観察して推定する」単一のユニットではなく、多くのラウンドで構成される連続的なプロセスであるため、このような簡略化は実用的なニーズを満たすことができないことがある。
– これに対して、この論文では、既存の一度限りの予測モデルに付加することができる、単純で効果的なネットワークであるDeFeeNetを提案している。DeFeeNetは、前のユニットが生成した偏差を最初にエンコードし、その後、既存の予測器に取り込まれることによって、データの情報伝達を許可することができる。２つのディープラーニングモデル、MLPとGRUを用いた２つのバージョンを設計し、Human3.6MおよびBABELでの実験結果から、適用する基本的なモデルに関係なく、DeFeeNetが連続的な人物動作推定パフォーマンスを改善することが示された。

要点:
– 現在の人物動作推定技術は1回の過程で動作を推定することを単純化している。
– しかし、実際のアプリケーションにおいては、動作推定は連続プロセスであるため、この簡略化は実用的なニーズを満たさないことがある。
– そのため、この論文では、DeFeeNetというネットワークを提案している。
– DeFeeNetは、前のユニットが生成した偏差をエンコードし、既存の予測器に取り込まれることによって、データの情報伝達を許可することができる。
– 2つのディープラーニングモデル、MLPとGRUを用いた２つのバージョンを設計し、人物動作推定パフォーマンスを改善することが示された。

要約(オリジナル)

Let us rethink the real-world scenarios that require human motion prediction techniques, such as human-robot collaboration. Current works simplify the task of predicting human motions into a one-off process of forecasting a short future sequence (usually no longer than 1 second) based on a historical observed one. However, such simplification may fail to meet practical needs due to the neglect of the fact that motion prediction in real applications is not an isolated “observe then predict” unit, but a consecutive process composed of many rounds of such unit, semi-overlapped along the entire sequence. As time goes on, the predicted part of previous round has its corresponding ground truth observable in the new round, but their deviation in-between is neither exploited nor able to be captured by existing isolated learning fashion. In this paper, we propose DeFeeNet, a simple yet effective network that can be added on existing one-off prediction models to realize deviation perception and feedback when applied to consecutive motion prediction task. At each prediction round, the deviation generated by previous unit is first encoded by our DeFeeNet, and then incorporated into the existing predictor to enable a deviation-aware prediction manner, which, for the first time, allows for information transmit across adjacent prediction units. We design two versions of DeFeeNet as MLP-based and GRU-based, respectively. On Human3.6M and more complicated BABEL, experimental results indicate that our proposed network improves consecutive human motion prediction performance regardless of the basic model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI