Sample and Map from a Single Convex Potential: Generation using Conjugate Moment Measures

要約

生成モデリングへの一般的なアプローチは、モデルフィッティングを2つのブロックに分割することです。最初にノイズをサンプリングする方法（ガウス）をサンプリングする方法を定義し、次に対処する方法（単一のマップまたはフローの使用）を選択します。
この作業では、サンプリングとマッピングを結び付ける代替ルートを探ります。
モーメントメジャーにインスピレーションが見られます。これは、$ \ mathbb {r}^d $のコンパクトな凸セットでサポートされている任意の測定値のために、$ \ rho = \ nabla u \、\ sharp \、e^{u} $などの一意の凸電位$ u $が存在することを示しています。
これは効果的にサンプリング（ログコンケーブ分布$ e^{-u} $）とアクション（$ \ nabla u $を介して粒子をプッシュする）から結びついているように見えますが、この選択肢が実用的なタスクに適していない簡単な例（例えば、ガウスまたは1D分布）で観察します。
$ \ rho $が$ \ nabla w^*\、\ sharp \、e^{ – w} $として因数分解される別の要因を研究します。ここで、$ w^*$は$ w $の凸共役です。
このアプローチの共役モーメント測定と呼び、これらの例ではるかに直感的な結果を示します。
$ \ nabla w^*$は、ログコンセーブ分布$ e^{-w} $と$ \ rho $の間のモンゲマップであるため、最適なトランスポートソルバーに依存してアルゴリズムを提案して$ \ rho $のサンプルから$ w $を回収し、入力convex neuralネットワークとして$ w $をパラメーター化します。

要約(オリジナル)

A common approach to generative modeling is to split model-fitting into two blocks: define first how to sample noise (e.g. Gaussian) and choose next what to do with it (e.g. using a single map or flows). We explore in this work an alternative route that ties sampling and mapping. We find inspiration in moment measures, a result that states that for any measure $\rho$ supported on a compact convex set of $\mathbb{R}^d$, there exists a unique convex potential $u$ such that $\rho=\nabla u\,\sharp\,e^{-u}$. While this does seem to tie effectively sampling (from log-concave distribution $e^{-u}$) and action (pushing particles through $\nabla u$), we observe on simple examples (e.g., Gaussians or 1D distributions) that this choice is ill-suited for practical tasks. We study an alternative factorization, where $\rho$ is factorized as $\nabla w^*\,\sharp\,e^{-w}$, where $w^*$ is the convex conjugate of $w$. We call this approach conjugate moment measures, and show far more intuitive results on these examples. Because $\nabla w^*$ is the Monge map between the log-concave distribution $e^{-w}$ and $\rho$, we rely on optimal transport solvers to propose an algorithm to recover $w$ from samples of $\rho$, and parameterize $w$ as an input-convex neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google