Learning Elastic Costs to Shape Monge Displacements

要約

$\mathbb{R}^d$ でサポートされているソースとターゲットの確率尺度が与えられた場合、モンジュ問題では、ある分布を別の分布にマッピングする最も効率的な方法を見つけることが求められます。
この効率は、ソース データとターゲット データの間で \textit{cost} 関数を定義することによって定量化されます。
このようなコストは、機械学習の文献では多くの場合、デフォルトでユークリッドの二乗距離 $\ell^2_2(\mathbf{x},\mathbf{y})=\tfrac12|\mathbf{x}-\mathbf に設定されます。
{y}|_2^2$。
最近、Cuturi et.
al ’23 は、正則化子 $\tau$ を通じて $c(\mathbf{x},\mathbf{y})=\ell^2_2(\mathbf{x},\mathbf{ として定義) を使用する利点を強調しました。
y})+\tau(\mathbf{x}-\mathbf{y})$。
このようなコストは、構造を与えることによって、モンジュ地図 $T$ の \textit{変位}、つまりソース点とその画像 $T(\mathbf{x})-\mathbf{x})$ の差を形成します。
これは $\tau$ の近位演算子の演算子と一致します。
この研究では、弾性コストの研究に対して 2 つの重要な貢献を行います。 (i) あらゆる弾性コストについて、最適であることが証明されているモンジュ マップを計算する数値的手法を提案します。
これは、任意の凸ポテンシャルの勾配が常に $\ell_2^2$ の有効なモンジュ マップであることを示すブレニエの定理に類推して、グラウンド トゥルース OT マップが既知である合成問題を作成するために非常に必要なルーチンを提供します。
料金;
(ii) パラメータ化された正則化子 $\tau_\theta$ のパラメータ $\theta$ に対する損失を \textit{learn} に提案し、それを $\tau_{A}(\mathbf{z}) の場合に適用します。
=|A^\perp \mathbf{z}|^2_2$。
この正則化子は、$A\in\mathbb{R}^{p\times d}$ の $p$ 行にまたがる $\mathbb{R}^d$ の低次元部分空間にある変位を促進します。

要約(オリジナル)

Given a source and a target probability measure supported on $\mathbb{R}^d$, the Monge problem asks to find the most efficient way to map one distribution to the other. This efficiency is quantified by defining a \textit{cost} function between source and target data. Such a cost is often set by default in the machine learning literature to the squared-Euclidean distance, $\ell^2_2(\mathbf{x},\mathbf{y})=\tfrac12|\mathbf{x}-\mathbf{y}|_2^2$. Recently, Cuturi et. al ’23 highlighted the benefits of using elastic costs, defined through a regularizer $\tau$ as $c(\mathbf{x},\mathbf{y})=\ell^2_2(\mathbf{x},\mathbf{y})+\tau(\mathbf{x}-\mathbf{y})$. Such costs shape the \textit{displacements} of Monge maps $T$, i.e., the difference between a source point and its image $T(\mathbf{x})-\mathbf{x})$, by giving them a structure that matches that of the proximal operator of $\tau$. In this work, we make two important contributions to the study of elastic costs: (i) For any elastic cost, we propose a numerical method to compute Monge maps that are provably optimal. This provides a much-needed routine to create synthetic problems where the ground truth OT map is known, by analogy to the Brenier theorem, which states that the gradient of any convex potential is always a valid Monge map for the $\ell_2^2$ cost; (ii) We propose a loss to \textit{learn} the parameter $\theta$ of a parameterized regularizer $\tau_\theta$, and apply it in the case where $\tau_{A}(\mathbf{z})=|A^\perp \mathbf{z}|^2_2$. This regularizer promotes displacements that lie on a low dimensional subspace of $\mathbb{R}^d$, spanned by the $p$ rows of $A\in\mathbb{R}^{p\times d}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google