Content Preserving Image Translation with Texture Co-occurrence and Spatial Self-Similarity for Texture Debiasing and Domain Adaptation

要約

テクスチャに偏りがあるデータセットで学習したモデルは、偏った表現がモデルに埋め込まれているため、通常、分布外のサンプルに対する性能は低い。近年、様々な画像変換やデビアス手法により、下流タスクのためにテクスチャに偏った表現を切り離すことが試みられているが、他の関連情報を変更せずに偏った特徴を正確に切り捨てることはまだ困難である。本論文では、ターゲットタスクでモデルを学習する際に、テクスチャバイアスを明示的に緩和するために、異なるバイアス特性を持つソース画像のコンテンツとターゲット画像のテクスチャを使用して追加の学習画像を生成する画像変換を活用した新しいフレームワークを提案する。我々のモデルは、テクスチャ共起ロスによりターゲット画像と生成画像間のテクスチャ類似性を確保し、空間自己類似性ロスによりソース画像からコンテンツの詳細を保持するものである。生成された画像と元の画像の両方を組み合わせて、矛盾したテクスチャバイアスに頑健な分類モデルやセグメンテーションモデルを学習することができる。テクスチャの偏りが既知の5つの分類データセットと2つのセグメンテーションデータセットで評価した結果、本手法の有用性が示され、全てのケースで最近の最先端手法に対する大幅な改善が報告されている。

要約(オリジナル)

Models trained on datasets with texture bias usually perform poorly on out-of-distribution samples since biased representations are embedded into the model. Recently, various image translation and debiasing methods have attempted to disentangle texture biased representations for downstream tasks, but accurately discarding biased features without altering other relevant information is still challenging. In this paper, we propose a novel framework that leverages image translation to generate additional training images using the content of a source image and the texture of a target image with a different bias property to explicitly mitigate texture bias when training a model on a target task. Our model ensures texture similarity between the target and generated images via a texture co-occurrence loss while preserving content details from source images with a spatial self-similarity loss. Both the generated and original training images are combined to train improved classification or segmentation models robust to inconsistent texture bias. Evaluation on five classification- and two segmentation-datasets with known texture biases demonstrates the utility of our method, and reports significant improvements over recent state-of-the-art methods in all cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL