Chaos to Order: A Label Propagation Perspective on Source-Free Domain Adaptation

要約

タイトル： Source-Free Domain Adaptationにおけるラベル伝播の観点からのカオスから秩序へのアプローチ

要約：

– Source-free domain adaptation (SFDA)は、事前にトレーニングされたソースモデルのみを使用して、実世界でのドメイン適応を達成するためのより一般的なアプローチである。
– しかし、ターゲットドメインにおける教師なし情報の欠如により、ターゲット特徴の固有構造を正確に捉えることが難しい。
– ターゲット特徴のクラスタリングパフォーマンスを分析することにより、それらには識別属性に関連するコア特徴が含まれているが、意味情報の整理が欠如していることを示す。
– この洞察に着想を得て、ターゲットのサブポピュレーション間でセマンティック信頼性を制約し、ラベル情報を伝播することを目指す新しいアプローチ「Chaos to Order（CtO）」を提案する。
– CtOは、学習状態の適応的閾値に基づいて、ターゲットデータを内部と外れ値のサンプルに分け、データプロパティに最も適した学習戦略をカスタマイズする。
– 特に、比較的よくクラスタリングされたプロパティを持つ内部サンプルは、クラス内構造を学習するために利用される。
– 低密度の外れ値サンプルは、入力の一貫性によって正確性を高め、グラウンドトゥルーラベルに関して高い精度を達成する。
– CtOでは、内部ローカルから外れたインスタンスにラベルを伝播するために異なる学習戦略を使用し、カオスから秩序へのグローバルサンプルのクラスタリングを実現します。
– 私たちは、内部サンプルの近隣親和性を適応的に制約することで、ローカルな意味信頼性も制約します。
– 理論的および実証分析により、私たちはアルゴリズムが内側から外れに伝播し、偽のクラスタリングが形成されるのを防止することを示しました。
– 実証的な証拠は、CtOが3つの公開ベンチマーク、Office-31、Office-Home、VisDAで現状の技術を上回っていることを示しています。

要約(オリジナル)

Source-free domain adaptation (SFDA), where only a pre-trained source model is used to adapt to the target distribution, is a more general approach to achieving domain adaptation in the real world. However, it can be challenging to capture the inherent structure of the target features accurately due to the lack of supervised information on the target domain. By analyzing the clustering performance of the target features, we show that they still contain core features related to discriminative attributes but lack the collation of semantic information. Inspired by this insight, we present Chaos to Order (CtO), a novel approach for SFDA that strives to constrain semantic credibility and propagate label information among target subpopulations. CtO divides the target data into inner and outlier samples based on the adaptive threshold of the learning state, customizing the learning strategy to fit the data properties best. Specifically, inner samples are utilized for learning intra-class structure thanks to their relatively well-clustered properties. The low-density outlier samples are regularized by input consistency to achieve high accuracy with respect to the ground truth labels. In CtO, by employing different learning strategies to propagate the labels from the inner local to outlier instances, it clusters the global samples from chaos to order. We further adaptively regulate the neighborhood affinity of the inner samples to constrain the local semantic credibility. In theoretical and empirical analyses, we demonstrate that our algorithm not only propagates from inner to outlier but also prevents local clustering from forming spurious clusters. Empirical evidence demonstrates that CtO outperforms the state of the arts on three public benchmarks: Office-31, Office-Home, and VisDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI