Unsupervised Domain Adaptation via Style-Aware Self-intermediate Domain

要約

教師なしドメイン適応（UDA）は、ラベルが豊富なソースドメインから、関連するがラベルのないターゲットドメインに知識を転送するもので、大きな注目を集めている。特に、ソースドメインとターゲットドメインの間に大きなギャップがあるタスクでは、ドメイン間の差異を低減することが、UDAの性能を向上させるために常に重要な要素である。この目的のために、我々は、クラス識別情報の損失を軽減しながら、大きなドメインギャップを埋め、知識を伝達するための新しいスタイル認識特徴融合法（SAFF）を提案する。人間の推移的推論と学習能力にヒントを得て、一連の中間補助合成概念を介して、一見無関係な2つの概念を結びつける新しいスタイル認識自己中間領域（SSID）を研究する。具体的には、SSIDの新しい学習戦略を提案する。SSIDは、ソースとターゲットの両方のドメインからサンプルをアンカーとして選択し、これらのアンカーのオブジェクトとスタイルの特徴をランダムに融合して、知識伝達のためのラベル付きでスタイルに富んだ中間補助特徴を生成する。さらに、安定したクラス特徴量とクラスごとのスタイル特徴量を得るために、指定されたラベル付き特徴量を保存・更新する外部メモリバンクを設計する。提案するメモリバンクに基づき、ドメイン内損失関数とドメイン間損失関数を設計し、それぞれクラス認識能力と特徴の互換性を向上させる。一方、無限サンプリングによるSSIDの豊富な潜在特徴空間のシミュレーションと、数学的理論による損失関数の収束のシミュレーションを行う。最後に、提案するSAFFを評価するために、一般的に使用されるドメイン適応型ベンチマークで包括的な実験を行い、実験結果から、提案するSAFFは異なるバックボーンネットワークと容易に組み合わせることができ、プラグイン・プラグアウトモジュールとしてより良い性能を得ることができることを示す。

要約(オリジナル)

Unsupervised domain adaptation (UDA) has attracted considerable attention, which transfers knowledge from a label-rich source domain to a related but unlabeled target domain. Reducing inter-domain differences has always been a crucial factor to improve performance in UDA, especially for tasks where there is a large gap between source and target domains. To this end, we propose a novel style-aware feature fusion method (SAFF) to bridge the large domain gap and transfer knowledge while alleviating the loss of class-discriminative information. Inspired by the human transitive inference and learning ability, a novel style-aware self-intermediate domain (SSID) is investigated to link two seemingly unrelated concepts through a series of intermediate auxiliary synthesized concepts. Specifically, we propose a novel learning strategy of SSID, which selects samples from both source and target domains as anchors, and then randomly fuses the object and style features of these anchors to generate labeled and style-rich intermediate auxiliary features for knowledge transfer. Moreover, we design an external memory bank to store and update specified labeled features to obtain stable class features and class-wise style features. Based on the proposed memory bank, the intra- and inter-domain loss functions are designed to improve the class recognition ability and feature compatibility, respectively. Meanwhile, we simulate the rich latent feature space of SSID by infinite sampling and the convergence of the loss function by mathematical theory. Finally, we conduct comprehensive experiments on commonly used domain adaptive benchmarks to evaluate the proposed SAFF, and the experimental results show that the proposed SAFF can be easily combined with different backbone networks and obtain better performance as a plug-in-plug-out module.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL