Shatter and Gather: Learning Referring Image Segmentation with Text Supervision

要約

画像セグメンテーションとは、自由形式のテキストで記述された任意のエンティティをセグメント化するタスクであり、さまざまな視覚アプリケーションの可能性を広げます。
ただし、このタスクのトレーニング データの手動ラベル付けは法外なコストがかかるため、トレーニング用のラベル付きデータが不足します。
私たちは、トレーニング画像のテキスト記述を唯一の監視ソースとして使用する、弱教師あり学習アプローチによってこの問題に対処します。
この目的を達成するために、まず入力画像内の意味エンティティを発見し、次にテキストクエリに関連するそのようなエンティティを組み合わせて指示対象のマスクを予測する新しいモデルを提示します。
また、追加の監視なしでモデルをトレーニングできる新しい損失関数も提供します。
私たちの手法は、参照画像セグメンテーションに関する 4 つの公開ベンチマークで評価され、すべてのベンチマークにおいて、同じタスクに対する既存の手法や最近のオープン語彙セグメンテーション モデルよりも明らかに優れていました。

要約(オリジナル)

Referring image segmentation, the task of segmenting any arbitrary entities described in free-form texts, opens up a variety of vision applications. However, manual labeling of training data for this task is prohibitively costly, leading to lack of labeled data for training. We address this issue by a weakly supervised learning approach using text descriptions of training images as the only source of supervision. To this end, we first present a new model that discovers semantic entities in input image and then combines such entities relevant to text query to predict the mask of the referent. We also present a new loss function that allows the model to be trained without any further supervision. Our method was evaluated on four public benchmarks for referring image segmentation, where it clearly outperformed the existing method for the same task and recent open-vocabulary segmentation models on all the benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google