Mining Cross-Person Cues for Body-Part Interactiveness Learning in HOI Detection

要約

人間-物体相互作用（HOI）検出は、活動理解において重要な役割を果たす。既存の手法は、通常、冗長な負のH-Oペア提案を生成し、効果的に対話的なペアを抽出することができないため、対話性学習はHOI検出における難題として残っている。しかし、従来の研究では、対象人物のみに着目し、他の人物の情報を見落としていました。本論文では、複数人の身体部位を同時に比較することで、より有用で補足的な相互作用の手がかりを得ることができると主張する。そこで、本論文では、グローバルな視点からボディパーツの相互作用性を学習するために、対象人物のボディパーツの相互作用性を分類する際に、対象人物自身だけでなく、画像中の他の人物の視覚的手がかりも探索する。本研究では、自己注視に基づく身体部位顕著性マップを構築し、人物間の情報的手がかりを探索し、全ての身体部位間の全体的な関係を学習する。提案手法を、広く用いられているベンチマークであるHICO-DETとV-COCOを用いて評価する。提案手法では、グローバル・ローカルな身体部位の相互作用の全体像を学習することで、最新の手法と比較して大幅な改善を達成している。我々のコードは https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness で公開されている。

要約(オリジナル)

Human-Object Interaction (HOI) detection plays a crucial role in activity understanding. Though significant progress has been made, interactiveness learning remains a challenging problem in HOI detection: existing methods usually generate redundant negative H-O pair proposals and fail to effectively extract interactive pairs. Though interactiveness has been studied in both whole body- and part- level and facilitates the H-O pairing, previous works only focus on the target person once (i.e., in a local perspective) and overlook the information of the other persons. In this paper, we argue that comparing body-parts of multi-person simultaneously can afford us more useful and supplementary interactiveness cues. That said, to learn body-part interactiveness from a global perspective: when classifying a target person’s body-part interactiveness, visual cues are explored not only from herself/himself but also from other persons in the image. We construct body-part saliency maps based on self-attention to mine cross-person informative cues and learn the holistic relationships between all the body-parts. We evaluate the proposed method on widely-used benchmarks HICO-DET and V-COCO. With our new perspective, the holistic global-local body-part interactiveness learning achieves significant improvements over state-of-the-art. Our code is available at https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL