Graphing the Future: Activity and Next Active Object Prediction using Graph-based Activity Representations

要約

ビデオにおける人間と物体の相互作用を視覚的に予測するための新しいアプローチを提示します。
人間と物体の動きや将来の手と物体の接触点を予測するのではなく、（a）進行中の人間と物体の相互作用のクラスと（b）次のアクティブな物体のクラスを予測することを目指しています（
s) (NAO)、つまり、近い将来に相互作用に関与するオブジェクトと、相互作用が発生する時間。
グラフ マッチングは、効率的なグラフ編集距離 (GED) メソッドに依存します。
提案されたアプローチの実験的評価は、人間と物体の相互作用を含む 2 つの確立されたビデオ データセット、つまり MSR Daily Activities と CAD120 を使用して実施されました。
行動予測、NAO予測ともに高い予測精度が得られました。

要約(オリジナル)

We present a novel approach for the visual prediction of human-object interactions in videos. Rather than forecasting the human and object motion or the future hand-object contact points, we aim at predicting (a)the class of the on-going human-object interaction and (b) the class(es) of the next active object(s) (NAOs), i.e., the object(s) that will be involved in the interaction in the near future as well as the time the interaction will occur. Graph matching relies on the efficient Graph Edit distance (GED) method. The experimental evaluation of the proposed approach was conducted using two well-established video datasets that contain human-object interactions, namely the MSR Daily Activities and the CAD120. High prediction accuracy was obtained for both action prediction and NAO forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google