KRADA: Known-region-aware Domain Alignment for Open-set Domain Adaptation in Semantic Segmentation

要約

セマンティック セグメンテーションでは、ピクセル レベルの分類子をトレーニングして、画像内のすべてのピクセルにカテゴリ ラベルを割り当てることを目指しています。ここで、ラベル付けされたトレーニング画像とラベル付けされていないテスト画像は同じ分布からのものであり、同じラベル セットを共有します。
ただし、オープン ワールドでは、ラベル付けされていないテスト イメージにはおそらく未知のカテゴリが含まれており、ラベル付けされたイメージとは異なる分布を持っています。
したがって、この論文では、ピクセルレベルの分類器をラベル付き画像とラベルなしオープンワールド画像でトレーニングする必要がある、より現実的で挑戦的な新しい問題設定を検討します。これをオープンセット ドメイン適応セグメンテーション (
OSDAS)。
OSDAS では、トレーニングされた分類器が未知のクラスのピクセルを識別し、既知のクラスのピクセルを適切に分類することが期待されます。
OSDAS を解決するには、まず未知のクラスのピクセルがどの分布に従うかを調査します。
次に、適合度テストに動機付けられて、統計的測定を使用して、ピクセルが未知のクラスの分布にどのように適合するかを示し、高度に適合したピクセルを選択して、各テスト画像の未知の領域を形成します。
最終的に、ラベル付きおよびラベルなしのオープンワールド画像で既知のクラスの分布を調整しながら、未知のクラスを区別するために、エンドツーエンドの学習フレームワークである既知領域認識ドメインアライメント（KRADA）を提案します。
KRADA の有効性は、2 つの合成タスクと 1 つの COVID-19 セグメンテーション タスクで検証されています。

要約(オリジナル)

In semantic segmentation, we aim to train a pixel-level classifier to assign category labels to all pixels in an image, where labeled training images and unlabeled test images are from the same distribution and share the same label set. However, in an open world, the unlabeled test images probably contain unknown categories and have different distributions from the labeled images. Hence, in this paper, we consider a new, more realistic, and more challenging problem setting where the pixel-level classifier has to be trained with labeled images and unlabeled open-world images — we name it open-set domain adaptation segmentation (OSDAS). In OSDAS, the trained classifier is expected to identify unknown-class pixels and classify known-class pixels well. To solve OSDAS, we first investigate which distribution that unknown-class pixels obey. Then, motivated by the goodness-of-fit test, we use statistical measurements to show how a pixel fits the distribution of an unknown class and select highly-fitted pixels to form the unknown region in each test image. Eventually, we propose an end-to-end learning framework, known-region-aware domain alignment (KRADA), to distinguish unknown classes while aligning the distributions of known classes in labeled and unlabeled open-world images. The effectiveness of KRADA has been verified on two synthetic tasks and one COVID-19 segmentation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google