Human-centric Behavior Description in Videos: New Benchmark and Model

要約

ビデオ監視の分野では、特に複数の個人が存在する複雑なシナリオでは、ビデオ内の各個人の行動を説明することがますます重要になってきています。
これは、各個人の行動を説明することで、より詳細な状況分析が可能になり、潜在的なリスクを正確に評価して対応し、公共の場所の安全と調和を確保できるためです。
現在、ビデオ レベルのキャプション データセットでは、各個人の特定の行動についての詳細な説明を提供できません。
ただし、ビデオレベルでの単なる説明では、個人の行動を詳細に解釈することができないため、各個人の特定の身元を正確に判断することが困難になります。
この課題に対処するために、私たちは、7,820 人の動的な行動の詳細な説明を提供する人間中心のビデオ監視キャプション データセットを構築しました。
具体的には、場所、服装、シーン内の他の要素とのやり取りなど、各人物のいくつかの側面にラベルを付け、これらの人物が 1,012 個のビデオに分散されています。
このデータセットに基づいて、個人をそれぞれの行動に関連付けることができ、監視ビデオ内の各人の行動をさらに分析できるようになります。
データセットに加えて、個人レベルで個人の行動を詳細に説明できる新しいビデオキャプションアプローチを提案し、最先端の結果を達成します。
この分野でのさらなる研究を促進するために、私たちはデータセットとコードをリリースする予定です。

要約(オリジナル)

In the domain of video surveillance, describing the behavior of each individual within the video is becoming increasingly essential, especially in complex scenarios with multiple individuals present. This is because describing each individual’s behavior provides more detailed situational analysis, enabling accurate assessment and response to potential risks, ensuring the safety and harmony of public places. Currently, video-level captioning datasets cannot provide fine-grained descriptions for each individual’s specific behavior. However, mere descriptions at the video-level fail to provide an in-depth interpretation of individual behaviors, making it challenging to accurately determine the specific identity of each individual. To address this challenge, we construct a human-centric video surveillance captioning dataset, which provides detailed descriptions of the dynamic behaviors of 7,820 individuals. Specifically, we have labeled several aspects of each person, such as location, clothing, and interactions with other elements in the scene, and these people are distributed across 1,012 videos. Based on this dataset, we can link individuals to their respective behaviors, allowing for further analysis of each person’s behavior in surveillance videos. Besides the dataset, we propose a novel video captioning approach that can describe individual behavior in detail on a person-level basis, achieving state-of-the-art results. To facilitate further research in this field, we intend to release our dataset and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google