A Holistically Point-guided Text Framework for Weakly-Supervised Camouflaged Object Detection

要約

弱教師カモフラージュ物体検出 (WSCOD) は、弱いラベルを使用してモデルをトレーニングし、周囲に視覚的に溶け込む物体をセグメント化するという約束で人気を集めています。
最近、まばらに注釈が付けられた監視を使用するいくつかの方法は、WSCOD での落書きを通じて有望な結果を示しましたが、ポイントテキスト監視はまだ研究されていません。
したがって、この文書では、セグメント、選択、トレーニングの 3 つのフェーズに分解することにより、WSCOD 用の新しい総合的なポイントガイド テキスト フレームワークを紹介します。
具体的には、ポイントガイド付き候補生成 (PCG) を提案します。この手法では、ポイントの前景がテキスト パスの修正として機能し、マスク生成プロセス (SEGMENT) 中に損失検出オブジェクトを明示的に修正および若返らせます。
また、CLIP (CHOOSE) を使用して特定のテキスト プロンプトから最適なマスクを選択する Qualified Candidate Discriminator (QCD) も導入し、選択した擬似マスクを自己教師あり Vision Transformer (TRAIN) でのトレーニングに使用します。
さらに、新しいポイント教師ありデータセット (P2C-COD) とテキスト教師ありデータセット (T-COD) を開発しました。
4 つのベンチマーク データセットに対する包括的な実験により、私たちの手法が最先端の手法を大幅に上回っており、一部の既存の完全監視型偽装物体検出手法も上回ることが実証されました。

要約(オリジナル)

Weakly-Supervised Camouflaged Object Detection (WSCOD) has gained popularity for its promise to train models with weak labels to segment objects that visually blend into their surroundings. Recently, some methods using sparsely-annotated supervision shown promising results through scribbling in WSCOD, while point-text supervision remains underexplored. Hence, this paper introduces a novel holistically point-guided text framework for WSCOD by decomposing into three phases: segment, choose, train. Specifically, we propose Point-guided Candidate Generation (PCG), where the point’s foreground serves as a correction for the text path to explicitly correct and rejuvenate the loss detection object during the mask generation process (SEGMENT). We also introduce a Qualified Candidate Discriminator (QCD) to choose the optimal mask from a given text prompt using CLIP (CHOOSE), and employ the chosen pseudo mask for training with a self-supervised Vision Transformer (TRAIN). Additionally, we developed a new point-supervised dataset (P2C-COD) and a text-supervised dataset (T-COD). Comprehensive experiments on four benchmark datasets demonstrate our method outperforms state-of-the-art methods by a large margin, and also outperforms some existing fully-supervised camouflaged object detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google