Beyond invariant representation learning: linearly alignable latent spaces for efficient closed-form domain adaptation

要約

最適輸送(Optimal Transport, OT)は、最小努力原則に従って確率測定の比較と整合を行うために用いられる強力な幾何学的ツールである。機械学習(ML)におけるOTの多くの成功例の中で、ドメイン適応(DA)は、分類器をあるラベル付きドメインから別の類似した、しかし異なるラベルなしまたはほとんどラベルなしのドメインに移すことを目標とする研究分野であり、歴史的に最も研究されているものの一つであった。この成功は、OTが2つのドメインの分布の類似性を評価するための意味のある不一致尺度と、ソースドメインのデータをターゲットドメインに投影できるマッピングの両方を提供できることに起因している。本論文では、アフィン写像によって与えられるOT問題の閉形式解を使用し、この解が最適で計算量が少ない埋め込み空間を学習する、DAに適用される原則的に新しいOTベースのアプローチを提案する。我々は、本アプローチが同種および異種のDA設定の両方で機能し、従来のOTと比較不可能な空間におけるOTの両方に基づく他の有名なベースラインを上回る、または同等であることを示す。さらに、我々の提案する方法が計算量を大幅に削減することを示す。

要約(オリジナル)

Optimal transport (OT) is a powerful geometric tool used to compare and align probability measures following the least effort principle. Among many successful applications of OT in machine learning (ML), domain adaptation (DA) — a field of study where the goal is to transfer a classifier from one labelled domain to another similar, yet different unlabelled or scarcely labelled domain — has been historically among the most investigated ones. This success is due to the ability of OT to provide both a meaningful discrepancy measure to assess the similarity of two domains’ distributions and a mapping that can project source domain data onto the target one. In this paper, we propose a principally new OT-based approach applied to DA that uses the closed-form solution of the OT problem given by an affine mapping and learns an embedding space for which this solution is optimal and computationally less complex. We show that our approach works in both homogeneous and heterogeneous DA settings and outperforms or is on par with other famous baselines based on both traditional OT and OT in incomparable spaces. Furthermore, we show that our proposed method vastly reduces computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL