Modality-Agnostic Debiasing for Single Domain Generalization

要約

ディープ ニューラル ネットワーク (DNN) は通常、分布外 (OOD) データに適切に一般化できません。特に、DNN を単一ドメインから複数の目に見えないドメインに転送する単一ドメイン一般化 (単一 DG) の極端なケースでは、そうです。
既存の単一 DG 手法は、一般に、さまざまなデータ拡張アルゴリズムを考案し、マルチソース ドメインの一般化手法を改造して、ドメインで一般化された (セマンティック) 機能を学習します。
それにもかかわらず、これらの方法は通常、モダリティ固有であるため、1 つのモダリティ (画像など) にのみ適用できます。
対照的に、さまざまなモダリティの一般化を可能にする、単一 DG 用の汎用性の高い Modality-Agnostic Debiasing (MAD) フレームワークをターゲットにしています。
技術的には、MAD は新しい 2 ブランチ分類器を導入します。バイアス ブランチは分類器がドメイン固有の (表面的な) 特徴を識別することを促進し、一般ブランチはバイアス ブランチからの知識に基づいてドメイン一般化された特徴をキャプチャします。
当社の MAD は、ほとんどのシングル DG モデルにプラグインできるという点で魅力的です。
1D テキストの認識、2D 画像、3D 点群、2D 画像のセマンティック セグメンテーションなど、さまざまなモダリティを備えたさまざまな単一 DG シナリオで、MAD の優位性を検証します。
さらに驚くべきことに、3D 点群の認識と 2D 画像のセマンティック セグメンテーションでは、MAD は精度と mIOU で DSU を 2.82\% および 1.5\% 向上させます。

要約(オリジナル)

Deep neural networks (DNNs) usually fail to generalize well to outside of distribution (OOD) data, especially in the extreme case of single domain generalization (single-DG) that transfers DNNs from single domain to multiple unseen domains. Existing single-DG techniques commonly devise various data-augmentation algorithms, and remould the multi-source domain generalization methodology to learn domain-generalized (semantic) features. Nevertheless, these methods are typically modality-specific, thereby being only applicable to one single modality (e.g., image). In contrast, we target a versatile Modality-Agnostic Debiasing (MAD) framework for single-DG, that enables generalization for different modalities. Technically, MAD introduces a novel two-branch classifier: a biased-branch encourages the classifier to identify the domain-specific (superficial) features, and a general-branch captures domain-generalized features based on the knowledge from biased-branch. Our MAD is appealing in view that it is pluggable to most single-DG models. We validate the superiority of our MAD in a variety of single-DG scenarios with different modalities, including recognition on 1D texts, 2D images, 3D point clouds, and semantic segmentation on 2D images. More remarkably, for recognition on 3D point clouds and semantic segmentation on 2D images, MAD improves DSU by 2.82\% and 1.5\% in accuracy and mIOU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google