Trust your Good Friends: Source-free Domain Adaptation by Reciprocal Neighborhood Clustering

要約

ドメイン・アダプテーション（DA）は、ソース・ドメインとターゲット・ドメインの間のドメイン・シフトを緩和することを目的としている。ほとんどのDA手法はソースデータにアクセスする必要があるが、多くの場合、それは不可能である（例えば、データプライバシーや知的財産のため）。本論文では、ソースデータが存在しない場合に、ソースで事前学習されたモデルをターゲットドメインに適応させるという、難易度の高いソースフリードメインアダプテーション（SFDA）問題に取り組む。我々の手法は、ソース・ドメインの分類器と一致しない可能性のあるターゲット・データが、依然として明確なクラスタを形成しているという観察に基づいている。ターゲットデータの局所的な親和性を定義することで、この本質的な構造を捉え、局所的な親和性が高いデータ間のラベルの一貫性を促す。より高い親和性は相互に隣接するデータに割り当てられるべきである。より多くの文脈を持つ情報を集約するために、親和性の値が小さい近傍領域を拡張することを考慮する。さらに、各ターゲットサンプルの周りの密度を考慮することで、潜在的な外れ値の悪影響を軽減することができる。実験結果において、ターゲット特徴の固有の構造が、ドメイン適応のための重要な情報源であることを検証する。この局所構造は、局所近傍、逆近傍、拡張近傍を考慮することで効率的に捕捉できることを実証する。最後に、いくつかの2次元画像と3次元点群認識データセットにおいて、最先端の性能を達成した。

要約(オリジナル)

Domain adaptation (DA) aims to alleviate the domain shift between source domain and target domain. Most DA methods require access to the source data, but often that is not possible (e.g. due to data privacy or intellectual property). In this paper, we address the challenging source-free domain adaptation (SFDA) problem, where the source pretrained model is adapted to the target domain in the absence of source data. Our method is based on the observation that target data, which might not align with the source domain classifier, still forms clear clusters. We capture this intrinsic structure by defining local affinity of the target data, and encourage label consistency among data with high local affinity. We observe that higher affinity should be assigned to reciprocal neighbors. To aggregate information with more context, we consider expanded neighborhoods with small affinity values. Furthermore, we consider the density around each target sample, which can alleviate the negative impact of potential outliers. In the experimental results we verify that the inherent structure of the target features is an important source of information for domain adaptation. We demonstrate that this local structure can be efficiently captured by considering the local neighbors, the reciprocal neighbors, and the expanded neighborhood. Finally, we achieve state-of-the-art performance on several 2D image and 3D point cloud recognition datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL