CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation

要約

エゴセントリック・インタラクティブ・ハンド・オブジェクト・セグメンテーション（EgoIHOS）は、エゴセントリック画像における手と対話オブジェクトのセグメンテーションを必要とし、これは支援システムにおける人間の行動を理解するために極めて重要である。これまでの手法は、視覚的特徴のみに基づいて、手と対話物体を異なる意味カテゴリとして認識したり、物体分割の補助的な手がかりとして手の予測を利用したりするのが一般的であった。これらの手法によって有望な進歩が達成されたにもかかわらず、手と物体の間の相互関係を適切にモデル化することができず、一方で物体カテゴリ間の結合した物理的関係を無視しているため、最終的にセグメンテーション性能が制約されている。既存の手法の欠点を補うために、我々は、手と物体の接触を2つの側面から強調することにより、最先端の性能を達成するCaRe-Egoと呼ばれる新しい手法を提案する。第一に、手と物体の相互関係を確立し、より接触に関連した識別可能な物体特徴を抽出するために、HOFE(Hand-guided Object Feature Enhancer)を導入する。第二に、物体カテゴリ間の結合関係を明示的にモデル化し、分離することにより、接触を意識した特徴学習を重視する接触中心物体分離戦略（CODS）を設計する。様々な領域内および領域外のテストセットを用いた実験により、Care-Egoが頑健な汎化能力で既存の手法を大幅に上回ることが示された。コードは https://github.com/yuggiehk/CaRe-Ego/ で公開されている。

要約(オリジナル)

Egocentric Interactive hand-object segmentation (EgoIHOS) requires the segmentation of hands and interacting objects in egocentric images, which is crucial for understanding human behavior in assistive systems. Previous methods typically recognize hands and interacting objects as distinct semantic categories based solely on visual features, or simply use hand predictions as auxiliary cues for object segmentation. Despite the promising progress achieved by these methods, they fail to adequately model the interactive relationships between hands and objects while ignoring the coupled physical relationships among object categories, ultimately constraining their segmentation performance. To make up for the shortcomings of existing methods, we propose a novel method called CaRe-Ego that achieves state-of-the-art performance by emphasizing the contact between hands and objects from two aspects. First, we introduce a Hand-guided Object Feature Enhancer (HOFE) to establish the hand-object interactive relationships to extract more contact-relevant and discriminative object features. Second, we design the Contact-centric Object Decoupling Strategy (CODS) to explicitly model and disentangle coupling relationships among object categories, thereby emphasizing contact-aware feature learning. Experiments on various in-domain and out-of-domain test sets show that Care-Ego significantly outperforms existing methods with robust generalization capability. Codes are publicly available at https://github.com/yuggiehk/CaRe-Ego/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL