On a Neural Implementation of Brenier’s Polar Factorization

要約

1991 年、ブレニエは、正方行列の $QR$ 分解 (PSD $\times$ ユニタリとして因数分解) を任意のベクトル場 $F:\mathbb{R}^d\rightarrow \mathbb{R} に一般化する定理を証明しました。
^d$。
極因数分解定理として知られるこの定理は、任意の体 $F$ が、測度保存写像 $M$ を備えた凸関数 $u$ の勾配の合成として復元できる、つまり $F=\nabla u であると述べています。
\circ M$。
私たちは、この広範な理論的結果の実際的な実装を提案し、機械学習内での使用の可能性を探ります。
この定理は最適輸送 (OT) 理論と密接に関連しており、ニューラル最適輸送の分野における最近の進歩を借用して、潜在的な $u$ を入力凸型ニューラル ネットワークとしてパラメーター化します。
マップ $M$ は、恒等式 $M=\nabla u^* \circ F$ を通じて、$u$ の凸共役 $u^*$ を使用して点ごとに評価することも、補助ネットワークとして学習することもできます。
$M$ は一般に単射的ではないため、確率生成器を使用して画像前測定値 $M^{-1}$ を近似できる不正設定逆マップを推定する追加タスクを検討します。
\citeauthor{Brenier1991PolarFA} の極因数分解の非凸最適化問題への応用例と、対数凹ではない密度のサンプリングについて説明します。

要約(オリジナル)

In 1991, Brenier proved a theorem that generalizes the $QR$ decomposition for square matrices — factored as PSD $\times$ unitary — to any vector field $F:\mathbb{R}^d\rightarrow \mathbb{R}^d$. The theorem, known as the polar factorization theorem, states that any field $F$ can be recovered as the composition of the gradient of a convex function $u$ with a measure-preserving map $M$, namely $F=\nabla u \circ M$. We propose a practical implementation of this far-reaching theoretical result, and explore possible uses within machine learning. The theorem is closely related to optimal transport (OT) theory, and we borrow from recent advances in the field of neural optimal transport to parameterize the potential $u$ as an input convex neural network. The map $M$ can be either evaluated pointwise using $u^*$, the convex conjugate of $u$, through the identity $M=\nabla u^* \circ F$, or learned as an auxiliary network. Because $M$ is, in general, not injective, we consider the additional task of estimating the ill-posed inverse map that can approximate the pre-image measure $M^{-1}$ using a stochastic generator. We illustrate possible applications of \citeauthor{Brenier1991PolarFA}’s polar factorization to non-convex optimization problems, as well as sampling of densities that are not log-concave.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google