Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection

要約

セマンティックセグメンテーション専用のトレーニングモデルには、大量のピクセル単位の注釈付きデータが必要です。
コストがかかるため、これらのアノテーションは当面のタスクでは使用できない場合があります。
この問題を軽減するために、教師なしドメイン適応アプローチは、ラベル付きソースとラベルなしターゲットデータ間の特徴分布を調整することを目的としています。
これらの戦略は目立った改善につながりますが、その効果は限られたままです。
ドメイン適応タスクをより効率的にガイドするために、以前の作業では、ターゲットデータのスパースシングルピクセル注釈の形式で、このプロセスに人間の相互作用を含めることを試みました。
この作業では、アクティブな選択を介して注釈付きポイントを使用したセマンティックセグメンテーションのための新しいドメイン適応フレームワークを提案します。
まず、モデルの教師なしドメイン適応を実行します。
この適応から、ターゲットポイントの選択にエントロピーベースの不確実性測定を使用します。
最後に、ドメインギャップを最小限に抑えるために、人間のアノテーターによって注釈が付けられたこれらのターゲットポイントを利用するドメイン適応フレームワークを提案します。
ベンチマークデータセットの実験結果は、既存の教師なしドメイン適応アプローチに対する私たちの方法の有効性を示しています。
提案パイプラインは一般的であり、既存のドメイン適応戦略への追加モジュールとして含めることができます。

要約(オリジナル)

Training models dedicated to semantic segmentation requires a large amount of pixel-wise annotated data. Due to their costly nature, these annotations might not be available for the task at hand. To alleviate this problem, unsupervised domain adaptation approaches aim at aligning the feature distributions between the labeled source and the unlabeled target data. While these strategies lead to noticeable improvements, their effectiveness remains limited. To guide the domain adaptation task more efficiently, previous works attempted to include human interactions in this process under the form of sparse single-pixel annotations in the target data. In this work, we propose a new domain adaptation framework for semantic segmentation with annotated points via active selection. First, we conduct an unsupervised domain adaptation of the model; from this adaptation, we use an entropy-based uncertainty measurement for target points selection. Finally, to minimize the domain gap, we propose a domain adaptation framework utilizing these target points annotated by human annotators. Experimental results on benchmark datasets show the effectiveness of our methods against existing unsupervised domain adaptation approaches. The propose pipeline is generic and can be included as an extra module to existing domain adaptation strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google