Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation

要約

最新のドメイン適応は、ラベル付きソース データとラベルなしターゲット データの間でセマンティック セグメンテーションのクロスドメイン転送を実現するための実用的なソリューションを提供します。
これらのソリューションは非常に人気を得ています。
ただし、テスト環境が変化したときにモデルを再トレーニングする必要があります。
これにより、時間のかかるトレーニング プロセスとデータ プライバシーに関する懸念により、特定のアプリケーションでは耐え難いコストが発生する可能性があります。
ワンショット ドメイン適応方法は、1 つのターゲット データのみを使用して、事前トレーニングされたソース モデルをターゲット ドメインに転送することで、これらの課題を克服しようとします。
それにもかかわらず、参照スタイルの転送モジュールは依然として計算コストと過剰適合の問題に直面しています。
この問題に対処するために、セマンティック セグメンテーションに対する効率的なワンショット ドメイン適応を可能にする、Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案します。
具体的には、IDM は不確実性に基づいた選択基準を提供して、最も有益なサンプルを特定します。これにより、迅速な適応が促進され、冗長なトレーニングが削減されます。
次に、これらの選択されたサンプルを使用してモデル適応方法を実行します。これには、モデルを更新するためのパッチごとの混合とプロトタイプベースの情報の最大化が含まれます。
このアプローチは、適応を効果的に強化し、過剰適合の問題を軽減します。
一般に、私たちは IDM の有効性と効率性の経験的証拠を提供します。
私たちのアプローチは既存の手法を上回り、GTA5/SYNTHIA から都市景観への適応タスクでそれぞれ 56.7\%/55.4\% という新しい最先端のワンショット パフォーマンスを達成しました。
コードは \url{https://github.com/yxiwang/IDM} でリリースされます。

要約(オリジナル)

Contemporary domain adaptation offers a practical solution for achieving cross-domain transfer of semantic segmentation between labeled source data and unlabeled target data. These solutions have gained significant popularity; however, they require the model to be retrained when the test environment changes. This can result in unbearable costs in certain applications due to the time-consuming training process and concerns regarding data privacy. One-shot domain adaptation methods attempt to overcome these challenges by transferring the pre-trained source model to the target domain using only one target data. Despite this, the referring style transfer module still faces issues with computation cost and over-fitting problems. To address this problem, we propose a novel framework called Informative Data Mining (IDM) that enables efficient one-shot domain adaptation for semantic segmentation. Specifically, IDM provides an uncertainty-based selection criterion to identify the most informative samples, which facilitates quick adaptation and reduces redundant training. We then perform a model adaptation method using these selected samples, which includes patch-wise mixing and prototype-based information maximization to update the model. This approach effectively enhances adaptation and mitigates the overfitting problem. In general, we provide empirical evidence of the effectiveness and efficiency of IDM. Our approach outperforms existing methods and achieves a new state-of-the-art one-shot performance of 56.7\%/55.4\% on the GTA5/SYNTHIA to Cityscapes adaptation tasks, respectively. The code will be released at \url{https://github.com/yxiwang/IDM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google