Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization

要約

学習条件付き分布$ \ pi^*（\ cdot | x）$は機械学習の中心的な問題であり、通常、ペアのデータ$（x、y）\ sim \ pi^*$を使用した教師の方法を介してアプローチされます。
ただし、特にドメイン翻訳などの問題では、ペアのデータサンプルを取得することはしばしば困難です。
これには、限られたペアデータと追加の対応のないi.i.d.
サンプル$ x \ sim \ pi^*_ x $および$ y \ sim \ pi^*_ y $からの限界分布から。
このような複合データの使用は複雑であり、多くの場合、ヒューリスティックなアプローチに依存しています。
この問題に取り組むために、データの最尤法を使用して、ペアのデータ$ \ textBf {Seamlessly} $を統合する新しい学習パラダイムを提案します。
私たちのアプローチは、逆エントロピー最適輸送（OT）と興味深く接続していることを実証します。
この発見により、$ \ pi^*（\ cdot | x）$を取得するために、$ \ textbf {end-to-end} $学習アルゴリズムを確立するために、計算OTの最近の進歩を適用することができます。
さらに、ユニバーサル近似プロパティを導き出し、私たちのアプローチが任意の小さなエラーで真の条件分布を理論的に回復できることを実証します。
さらに、経験的テストを通じて、私たちの方法は、ペア付きデータと対応のないデータを同時に使用して条件付き分布を効果的に学習することを実証します。

要約(オリジナル)

Learning conditional distributions $\pi^*(\cdot|x)$ is a central problem in machine learning, which is typically approached via supervised methods with paired data $(x,y) \sim \pi^*$. However, acquiring paired data samples is often challenging, especially in problems such as domain translation. This necessitates the development of $\textit{semi-supervised}$ models that utilize both limited paired data and additional unpaired i.i.d. samples $x \sim \pi^*_x$ and $y \sim \pi^*_y$ from the marginal distributions. The usage of such combined data is complex and often relies on heuristic approaches. To tackle this issue, we propose a new learning paradigm that integrates both paired and unpaired data $\textbf{seamlessly}$ using the data likelihood maximization techniques. We demonstrate that our approach also connects intriguingly with inverse entropic optimal transport (OT). This finding allows us to apply recent advances in computational OT to establish an $\textbf{end-to-end}$ learning algorithm to get $\pi^*(\cdot|x)$. In addition, we derive the universal approximation property, demonstrating that our approach can theoretically recover true conditional distributions with arbitrarily small error. Furthermore, we demonstrate through empirical tests that our method effectively learns conditional distributions using paired and unpaired data simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google