Unsupervised Domain Adaptation via Style-Aware Self-intermediate Domain

要約

教師なしドメイン適応 (UDA) は、ラベルが豊富なソース ドメインから、関連するがラベルのないターゲット ドメインに知識を転送する、かなりの注目を集めています。
ドメイン間の差異を減らすことは、UDA のパフォーマンスを向上させる上で常に重要な要素であり、特にソース ドメインとターゲット ドメインの間に大きなギャップがあるタスクの場合には重要です。
この目的を達成するために、クラス識別情報の損失を軽減しながら、大きなドメインギャップを橋渡しし、知識を伝達する新しいスタイル認識特徴融合法 (SAFF) を提案します。
人間の推移的な推論と学習能力にヒントを得て、一連の中間的な補助合成概念を介して、一見無関係に見える 2 つの概念をリンクする、新しいスタイル認識自己中間ドメイン (SSID) が研究されています。
具体的には、ソースドメインとターゲットドメインの両方からサンプルをアンカーとして選択し、これらのアンカーのオブジェクトとスタイルの特徴をランダムに融合して、知識伝達のためのラベル付きでスタイルが豊富な中間補助特徴を生成する、SSID の新しい学習戦略を提案します。
さらに、安定したクラス特徴とクラスごとのスタイル特徴を取得するために、指定されたラベル付き特徴を保存および更新する外部メモリ バンクを設計します。
提案されたメモリバンクに基づいて、ドメイン内およびドメイン間の損失関数は、それぞれクラス認識能力と機能の互換性を向上させるように設計されています。
一方、SSID の豊富な潜在特徴空間を無限サンプリングと数学理論による損失関数の収束によってシミュレートします。
最後に、提案された SAFF を評価するために、一般的に使用されるドメイン適応ベンチマークに関する包括的な実験を実行しました。実験結果は、提案された SAFF がさまざまなバックボーン ネットワークと簡単に組み合わせられ、プラグイン/プラグアウト モジュールとしてより優れたパフォーマンスが得られることを示しています。

要約(オリジナル)

Unsupervised domain adaptation (UDA) has attracted considerable attention, which transfers knowledge from a label-rich source domain to a related but unlabeled target domain. Reducing inter-domain differences has always been a crucial factor to improve performance in UDA, especially for tasks where there is a large gap between source and target domains. To this end, we propose a novel style-aware feature fusion method (SAFF) to bridge the large domain gap and transfer knowledge while alleviating the loss of class-discriminative information. Inspired by the human transitive inference and learning ability, a novel style-aware self-intermediate domain (SSID) is investigated to link two seemingly unrelated concepts through a series of intermediate auxiliary synthesized concepts. Specifically, we propose a novel learning strategy of SSID, which selects samples from both source and target domains as anchors, and then randomly fuses the object and style features of these anchors to generate labeled and style-rich intermediate auxiliary features for knowledge transfer. Moreover, we design an external memory bank to store and update specified labeled features to obtain stable class features and class-wise style features. Based on the proposed memory bank, the intra- and inter-domain loss functions are designed to improve the class recognition ability and feature compatibility, respectively. Meanwhile, we simulate the rich latent feature space of SSID by infinite sampling and the convergence of the loss function by mathematical theory. Finally, we conduct comprehensive experiments on commonly used domain adaptive benchmarks to evaluate the proposed SAFF, and the experimental results show that the proposed SAFF can be easily combined with different backbone networks and obtain better performance as a plug-in-plug-out module.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google