Inter-X: Towards Versatile Human-Human Interaction Analysis

要約

遍在する人間と人間の相互作用の分析は、人間を社会的存在として理解する上で極めて重要です。
既存の人間同士のインタラクション データセットは通常、体の動きが不正確で、手のジェスチャーが欠如し、きめの細かいテキスト記述が欠如しているという問題があります。
人間と人間のインタラクションをより適切に認識し、生成するために、正確な体の動きと多様なインタラクション パターン、および詳細な手のジェスチャーを備えた現在最大の人間と人間のインタラクション データセットである Inter-X を提案します。
データセットには、約 11,000 のインタラクション シーケンスと 810 万を超えるフレームが含まれています。
また、Inter-X には、34,000 を超えるきめ細かい人間の部位レベルのテキスト記述、意味論的な相互作用カテゴリ、相互作用順序、対象者の関係性と性格などの多用途の注釈が装備されています。
精巧な注釈に基づいて、知覚方向と生成方向の両方からの下流タスクの 4 つのカテゴリで構成される統一ベンチマークを提案します。
広範な実験と包括的な分析により、Inter-X が多用途の人間間インタラクション分析の開発を促進するためのテストベッドとして機能することがわかりました。
私たちのデータセットとベンチマークは研究目的で一般公開されます。

要約(オリジナル)

The analysis of the ubiquitous human-human interactions is pivotal for understanding humans as social beings. Existing human-human interaction datasets typically suffer from inaccurate body motions, lack of hand gestures and fine-grained textual descriptions. To better perceive and generate human-human interactions, we propose Inter-X, a currently largest human-human interaction dataset with accurate body movements and diverse interaction patterns, together with detailed hand gestures. The dataset includes ~11K interaction sequences and more than 8.1M frames. We also equip Inter-X with versatile annotations of more than 34K fine-grained human part-level textual descriptions, semantic interaction categories, interaction order, and the relationship and personality of the subjects. Based on the elaborate annotations, we propose a unified benchmark composed of 4 categories of downstream tasks from both the perceptual and generative directions. Extensive experiments and comprehensive analysis show that Inter-X serves as a testbed for promoting the development of versatile human-human interaction analysis. Our dataset and benchmark will be publicly available for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google