From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding

要約

インテリジェント エージェントへの重要なステップとして、アクションの理解はインテリジェント エージェントにとって重要であり、長期的な注目を集めています。
それは、行為の物理的空間から意味的空間へのマッピングとして形成することができる。
通常、研究者はクラスを定義し、ベンチマークの限界を押し上げるための特異な選択に従ってアクション データセットを構築しました。
したがって、データセットは、セマンティックギャップとさまざまなクラス粒度により、「孤立した島」のように相互に互換性がありません。たとえば、データセット A では家事をし、データセット B では皿洗いをします。私たちは、より原則に基づいたセマンティック空間が緊急に必要であると主張します。
コミュニティの努力により、すべてのデータセットを一緒に使用して一般化可能なアクション ラーニングを追求できるようになります。
この目的を達成するために、動詞分類階層を考慮し、大規模なアクションをカバーする構造化されたアクション意味空間を設計します。
以前のデータセットのクラスを意味論的空間に合わせることで、(画像/ビデオ/スケルトン/MoCap) データセットを統一ラベル システムの統一データベースに収集します。つまり、「孤立した島々」を「パンゲア」に橋渡しします。
そこで、パンゲアを最大限に活用するために、物理空間から意味空間へのマッピングを行う新しいモデルを提案する。
広範な実験において、私たちの新しいシステムは、特に転移学習において顕著な優位性を示しました。
コードとデータは一般に公開されます。

要約(オリジナル)

As a vital step toward the intelligent agent, Action understanding matters for intelligent agents and has attracted long-term attention. It can be formed as the mapping from the action physical space to the semantic space. Typically, researchers built action datasets according to idiosyncratic choices to define classes and push the envelope of benchmarks respectively. Thus, datasets are incompatible with each other like ‘Isolated Islands’ due to semantic gaps and various class granularities, e.g., do housework in dataset A and wash plate in dataset B. We argue that a more principled semantic space is an urgent need to concentrate the community efforts and enable us to use all datasets together to pursue generalizable action learning. To this end, we design a structured action semantic space in view of verb taxonomy hierarchy and covering massive actions. By aligning the classes of previous datasets to our semantic space, we gather (image/video/skeleton/MoCap) datasets into a unified database in a unified label system, i.e., bridging “isolated islands” into a ‘Pangea’. Accordingly, we propose a novel model mapping from the physical space to semantic space to fully use Pangea. In extensive experiments, our new system shows significant superiority, especially in transfer learning. Code and data will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google