Spectral Unsupervised Domain Adaptation for Visual Recognition

要約

教師なしドメイン適応（UDA）は最近非常に目覚ましい進歩を遂げましたが、ターゲットアノテーションが欠落していることと、ソースとターゲットの分布の間に大きな不一致があるため、依然として大きな課題となっています。
スペクトル空間で機能し、さまざまな視覚認識タスクに一般化できる効果的かつ効率的なUDA手法であるスペクトルUDA（SUDA）を提案します。
SUDAは、2つの観点からUDAの課題に取り組んでいます。
まず、ソースサンプルとターゲットサンプルのドメインバリアントスペクトルを同時に抑制しながら、ドメイン不変スペクトルを強化することでドメイン間の不一致を軽減するスペクトルトランスフォーマー（ST）を導入します。
次に、各ターゲットサンプルの複数のST生成スペクトルビュー間の相互情報量を最大化することにより、有用な教師なし表現を学習するマルチビュースペクトル学習を導入します。
広範な実験により、SUDAは、オブジェクト検出、セマンティックセグメンテーション、および画像分類のさまざまな視覚的タスクにわたって一貫して優れた精度を達成することが示されています。
さらに、SUDAは変圧器ベースのネットワークとも連携し、オブジェクト検出で最先端のパフォーマンスを実現します。

要約(オリジナル)

Though unsupervised domain adaptation (UDA) has achieved very impressive progress recently, it remains a great challenge due to missing target annotations and the rich discrepancy between source and target distributions. We propose Spectral UDA (SUDA), an effective and efficient UDA technique that works in the spectral space and can generalize across different visual recognition tasks. SUDA addresses the UDA challenges from two perspectives. First, it introduces a spectrum transformer (ST) that mitigates inter-domain discrepancies by enhancing domain-invariant spectra while suppressing domain-variant spectra of source and target samples simultaneously. Second, it introduces multi-view spectral learning that learns useful unsupervised representations by maximizing mutual information among multiple ST-generated spectral views of each target sample. Extensive experiments show that SUDA achieves superior accuracy consistently across different visual tasks in object detection, semantic segmentation and image classification. Additionally, SUDA also works with the transformer-based network and achieves state-of-the-art performance on object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google