Reconstructing Humpty Dumpty: Multi-feature Graph Autoencoder for Open Set Action Recognition

要約

ほとんどのアクション認識データセットとアルゴリズムは、すべてのテスト サンプルが既知のクラスのインスタンスである閉じた世界を想定しています。
オープン セットの問題では、既知または未知のクラスからテスト サンプルを抽出できます。
既存のオープン セット アクション認識方法は通常、分類スコアまたは特徴距離の事後分析を追加することによってクローズド セット方法を拡張することに基づいており、すべてのビデオ クリップ要素間の関係をキャプチャしません。
未知のクラスは元に戻すのが難しく、既知のクラスのビデオよりも再構成エラーが大きくなるため、私たちのアプローチでは再構成エラーを使用してビデオの新規性を判断します。
開集合動作認識問題に対する私たちの解決策を、その再構成能力から「ハンプティ ダンプティ」と呼びます。
Humpty Dumpty は、再構成を改善するために、クリップの断片間の文脈的および意味的な関係を説明する新しいグラフベースのオートエンコーダーです。
再構築エラーが大きいほど、アクションを再構築できない可能性が高くなります。つまり、ハンプティ ダンプティを元に戻すことができない可能性が高くなります。これは、アクションが以前に見られたことがなく、新規/未知であることを示します。
HMDB-51 と UCF-101 を含む 2 つの公開されているアクション認識データセットに対して広範な実験が行われ、オープン セット アクション認識の最先端のパフォーマンスが示されます。

要約(オリジナル)

Most action recognition datasets and algorithms assume a closed world, where all test samples are instances of the known classes. In open set problems, test samples may be drawn from either known or unknown classes. Existing open set action recognition methods are typically based on extending closed set methods by adding post hoc analysis of classification scores or feature distances and do not capture the relations among all the video clip elements. Our approach uses the reconstruction error to determine the novelty of the video since unknown classes are harder to put back together and thus have a higher reconstruction error than videos from known classes. We refer to our solution to the open set action recognition problem as ‘Humpty Dumpty’, due to its reconstruction abilities. Humpty Dumpty is a novel graph-based autoencoder that accounts for contextual and semantic relations among the clip pieces for improved reconstruction. A larger reconstruction error leads to an increased likelihood that the action can not be reconstructed, i.e., can not put Humpty Dumpty back together again, indicating that the action has never been seen before and is novel/unknown. Extensive experiments are performed on two publicly available action recognition datasets including HMDB-51 and UCF-101, showing the state-of-the-art performance for open set action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google