Domain Generalization Emerges from Dreaming

要約

最近の研究では、DNN は人間の視覚とは異なり、形状ではなくテクスチャ情報を利用する傾向があることが証明されています。
このようなテクスチャ バイアスは、DNN の一般化パフォーマンスが低い要因の 1 つです。
テクスチャ バイアスは、ドメイン内の一般化だけでなく、分布外の一般化、つまりドメインの一般化にも悪影響を与えることがわかります。
観察に動機付けられて、Stylized Dream と呼ばれる新しい最適化ベースのデータ拡張によって、モデルのテクスチャ バイアスを減らすための新しいフレームワークを提案します。
当社のフレームワークは、アダプティブ インスタンス正規化 (AdaIN) を利用して、元の画像のスタイルを強化しながらコンテンツを保持します。
次に、正規化損失を採用して、Stylized Dream と元の画像の間の一貫した出力を予測します。これにより、モデルは形状ベースの表現を学習するようになります。
PACS、VLCS、OfficeHome、TerraIncognita、DomainNet などのパブリック ベンチマーク データセットの配布設定外で、提案された方法が最先端のパフォーマンスを達成することが広範な実験で示されています。

要約(オリジナル)

Recent studies have proven that DNNs, unlike human vision, tend to exploit texture information rather than shape. Such texture bias is one of the factors for the poor generalization performance of DNNs. We observe that the texture bias negatively affects not only in-domain generalization but also out-of-distribution generalization, i.e., Domain Generalization. Motivated by the observation, we propose a new framework to reduce the texture bias of a model by a novel optimization-based data augmentation, dubbed Stylized Dream. Our framework utilizes adaptive instance normalization (AdaIN) to augment the style of an original image yet preserve the content. We then adopt a regularization loss to predict consistent outputs between Stylized Dream and original images, which encourages the model to learn shape-based representations. Extensive experiments show that the proposed method achieves state-of-the-art performance in out-of-distribution settings on public benchmark datasets: PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google