A New Perspective On Denoising Based On Optimal Transport

要約

ノイズ除去問題の標準的な定式化では、潜在変数 $\Theta \in \Omega \subset \mathbb{R}^m \ に関連する確率モデルが与えられます。
(m\ge 1)$ と $Z \mid \Theta \sim p(\cdot\mid \Theta)$ および $\Theta \sim G に基づく観測値 $Z \in \mathbb{R}^d$
^*$ であり、目標は、観測値から潜在変数を回復するためのマップを構築することです。
事後平均は、$Z$ から $\Theta$ を推定するための自然な候補であり、最小限のベイズ リスク (二乗誤差損失の下で) を達成しますが、$Z$ を過度に縮小するという犠牲を払って、一般に捕捉できない可能性があります。
事前分布 $G^*$ の幾何学的特徴 (低次元性、離散性、疎性など)。
これらの欠点を修正するために、この論文では、最適輸送 (OT) 理論に触発されたこのノイズ除去問題に新しい視点を取り入れ、それを使用して集団レベル設定での新しい OT ベースのノイズ除去を提案します。
モデルに関する一般的な仮定の下で、OT ベースのノイズ除去器が明確に定義され、独自のものであり、Monge OT 問題の解決策と密接に関連していることを厳密に証明します。
次に、モデルの適切な識別可能性の仮定の下で、適切な空間にわたる線形緩和問題を解いた後、$Z$ の周辺分布とモデルの事後平均の情報のみから OT ベースのノイズ除去を復元できることを証明します。
これは標準的なマルチマージナル OT (MOT) 問題を彷彿とさせます。
特に、Tweedie の公式のおかげで、尤度モデル $\{ p(\cdot \mid \theta) \}_{\theta \in \Omega}$ が指数分布族である場合、OT ベースのノイズ除去器は次のようになります。
$Z$ の限界分布のみから回収されました。
一般に、私たちの OT のような緩和のファミリーはそれ自体で興味深いものであり、ノイズ除去問題については、計算 OT に関する豊富な文献に触発された代替の数値的手法を提案します。

要約(オリジナル)

In the standard formulation of the denoising problem, one is given a probabilistic model relating a latent variable $\Theta \in \Omega \subset \mathbb{R}^m \; (m\ge 1)$ and an observation $Z \in \mathbb{R}^d$ according to: $Z \mid \Theta \sim p(\cdot\mid \Theta)$ and $\Theta \sim G^*$, and the goal is to construct a map to recover the latent variable from the observation. The posterior mean, a natural candidate for estimating $\Theta$ from $Z$, attains the minimum Bayes risk (under the squared error loss) but at the expense of over-shrinking the $Z$, and in general may fail to capture the geometric features of the prior distribution $G^*$ (e.g., low dimensionality, discreteness, sparsity, etc.). To rectify these drawbacks, in this paper we take a new perspective on this denoising problem that is inspired by optimal transport (OT) theory and use it to propose a new OT-based denoiser at the population level setting. We rigorously prove that, under general assumptions on the model, our OT-based denoiser is well-defined and unique, and is closely connected to solutions to a Monge OT problem. We then prove that, under appropriate identifiability assumptions on the model, our OT-based denoiser can be recovered solely from information of the marginal distribution of $Z$ and the posterior mean of the model, after solving a linear relaxation problem over a suitable space of couplings that is reminiscent of a standard multimarginal OT (MOT) problem. In particular, thanks to Tweedie’s formula, when the likelihood model $\{ p(\cdot \mid \theta) \}_{\theta \in \Omega}$ is an exponential family of distributions, the OT-based denoiser can be recovered solely from the marginal distribution of $Z$. In general, our family of OT-like relaxations is of interest in its own right and for the denoising problem suggests alternative numerical methods inspired by the rich literature on computational OT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google