Weakly-Supervised Salient Object Detection Using Point Supervision

要約

現在の最先端の顕著性検出モデルは、正確なピクセル単位の注釈の大規模なデータセットに大きく依存していますが、手動でピクセルにラベルを付けることは、時間と労力を要します。
画像ラベル、バウンディングボックスラベル、落書きラベルなど、問題を軽減するために開発されたいくつかの弱く監視された方法がありますが、ポイントラベルはまだこの分野で検討されていません。
本論文では、点監視を用いた新しい弱監視の顕著な物体検出法を提案した。
顕著性マップを推測するために、最初に、疑似ラベルを生成するための適応型マスクフラッドフィリングアルゴリズムを設計します。
次に、トランスフォーマーベースのポイント監視顕著性検出モデルを開発して、顕著性マップの最初のラウンドを作成します。
ただし、ラベルがまばらであるため、弱く監視されたモデルは、一般的な前景検出モデルに縮退する傾向があります。
この問題に対処するために、Non-Salient Suppression（NSS）メソッドを提案して、第1ラウンドで生成された誤った顕著性マップを最適化し、第2ラウンドのトレーニングに活用します。
さらに、DUTSデータセットのラベルを変更することにより、新しい点教師ありデータセット（P-DUTS）を構築します。
P-DUTSでは、顕著なオブジェクトごとに1つのラベル付きポイントのみがあります。
5つの最大のベンチマークデータセットでの包括的な実験は、私たちの方法が、より強力な監視でトレーニングされた以前の最先端の方法を上回り、完全に監視されたいくつかの最先端のモデルを上回っていることを示しています。
コードはhttps://github.com/shuyonggao/PSODで入手できます。

要約(オリジナル)

Current state-of-the-art saliency detection models rely heavily on large datasets of accurate pixel-wise annotations, but manually labeling pixels is time-consuming and labor-intensive. There are some weakly supervised methods developed for alleviating the problem, such as image label, bounding box label, and scribble label, while point label still has not been explored in this field. In this paper, we propose a novel weakly-supervised salient object detection method using point supervision. To infer the saliency map, we first design an adaptive masked flood filling algorithm to generate pseudo labels. Then we develop a transformer-based point-supervised saliency detection model to produce the first round of saliency maps. However, due to the sparseness of the label, the weakly supervised model tends to degenerate into a general foreground detection model. To address this issue, we propose a Non-Salient Suppression (NSS) method to optimize the erroneous saliency maps generated in the first round and leverage them for the second round of training. Moreover, we build a new point-supervised dataset (P-DUTS) by relabeling the DUTS dataset. In P-DUTS, there is only one labeled point for each salient object. Comprehensive experiments on five largest benchmark datasets demonstrate our method outperforms the previous state-of-the-art methods trained with the stronger supervision and even surpass several fully supervised state-of-the-art models. The code is available at: https://github.com/shuyonggao/PSOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google