PLUG: Revisiting Amodal Segmentation with Foundation Model and Hierarchical Focus

要約

部分的に隠蔽された物体の完全な形状を予測することを目的としたアモーダルセグメンテーションは、視覚的知性への重要な一歩である。実用的な事前知識は十分な訓練から得られるが、限られたアモーダル注釈はより良い性能を達成するための課題となる。この問題に取り組むため、基礎モデルに蓄積された強大な事前知識を利用し、我々は最初のSAMベースのアモーダルセグメンテーションアプローチであるPLUGを提案する。方法論的には、タスクの特徴に適応し、SAMの潜在能力を引き出すために、階層的なフォーカスを持つ新しいフレームワークを提示する。領域レベルでは、可視領域と非可視領域の関連と分割に起因して、インモーダル領域とアモーダル領域は、相互攪乱を避けるために、異なるブランチの焦点として割り当てられる。点レベルでは、不確定性の概念を導入し、モデルが曖昧な点を特定し、そこに焦点を当てることを明示的に支援する。不確実性マップに導かれ、予測された境界の精度を向上させるために、計算経済的な点損失が適用される。いくつかの著名なデータセットを用いて実験を行い、その結果、我々の提案手法が既存の手法を大きなマージンをもって凌駕することを示す。パラメータが少なくても、我々の手法は顕著な優位性を示す。

要約(オリジナル)

Aiming to predict the complete shapes of partially occluded objects, amodal segmentation is an important step towards visual intelligence. With crucial significance, practical prior knowledge derives from sufficient training, while limited amodal annotations pose challenges to achieve better performance. To tackle this problem, utilizing the mighty priors accumulated in the foundation model, we propose the first SAM-based amodal segmentation approach, PLUG. Methodologically, a novel framework with hierarchical focus is presented to better adapt the task characteristics and unleash the potential capabilities of SAM. In the region level, due to the association and division in visible and occluded areas, inmodal and amodal regions are assigned as the focuses of distinct branches to avoid mutual disturbance. In the point level, we introduce the concept of uncertainty to explicitly assist the model in identifying and focusing on ambiguous points. Guided by the uncertainty map, a computation-economic point loss is applied to improve the accuracy of predicted boundaries. Experiments are conducted on several prominent datasets, and the results show that our proposed method outperforms existing methods with large margins. Even with fewer total parameters, our method still exhibits remarkable advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL