Few-shot human motion prediction for heterogeneous sensors

要約

人間の動きの予測は、接続されたセンサーのグラフで経時的に変数を予測する必要があるため、複雑なタスクです。
これは、少数の例に基づいて、以前は見られなかったアクションのモーション シーケンスを予測しようとする少数ショット学習の場合に特に当てはまります。
それにもかかわらず、ほとんどすべての関連する少数ショット モーション予測のアプローチは、基礎となるグラフを組み込んでいませんが、それは従来のモーション予測では一般的なコンポーネントです。
さらに、最先端の少数ショット モーション予測方法は、出力空間が固定されたモーション タスクに制限されています。つまり、これらのタスクはすべて同じセンサー グラフに制限されています。
この作業では、グラフニューラルネットワークを使用した異種属性を使用した少数ショット時系列予測に関する最近の研究を拡張して、異種センサーを使用したモーションタスク全体で一般化しながら、空間グラフを明示的に組み込む最初の少数ショットモーションアプローチを導入することを提案します。
異種センサーを使用したモーション タスクの実験では、最高の最先端モデルと比較して、リフトが 10.4% から最大 39.3% まで大幅にパフォーマンスが向上することを示しています。
さらに、2 桁少ないパラメーターを維持しながら、固定出力空間でタスクを評価する場合、モデルがこれまでの最良のアプローチと同等のパフォーマンスを発揮できることを示します。

要約(オリジナル)

Human motion prediction is a complex task as it involves forecasting variables over time on a graph of connected sensors. This is especially true in the case of few-shot learning, where we strive to forecast motion sequences for previously unseen actions based on only a few examples. Despite this, almost all related approaches for few-shot motion prediction do not incorporate the underlying graph, while it is a common component in classical motion prediction. Furthermore, state-of-the-art methods for few-shot motion prediction are restricted to motion tasks with a fixed output space meaning these tasks are all limited to the same sensor graph. In this work, we propose to extend recent works on few-shot time-series forecasting with heterogeneous attributes with graph neural networks to introduce the first few-shot motion approach that explicitly incorporates the spatial graph while also generalizing across motion tasks with heterogeneous sensors. In our experiments on motion tasks with heterogeneous sensors, we demonstrate significant performance improvements with lifts from 10.4% up to 39.3% compared to best state-of-the-art models. Moreover, we show that our model can perform on par with the best approach so far when evaluating on tasks with a fixed output space while maintaining two magnitudes fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google