Learning normalized image densities via dual score matching

要約

データからの学習確率モデルは多くの機械学習の努力の中心にありますが、次元の呪いのために難しいことで有名です。
スコアを推定するために最適化されたネットワークに依存する、拡散生成モデルからインスピレーションを受けた学習\ emph {remormized}エネルギー（ログ確率）モデルのための新しいフレームワークを紹介します。
スコアネットワークアーキテクチャを変更して、誘導バイアスを維持しながらエネルギーを計算します。
入力画像に関するこのエネルギーネットワークの勾配は、学習密度のスコアであり、除去目標を使用して最適化できます。
重要なことに、ノイズレベルに関する勾配は、新しい二次目標で最適化できる追加スコアを提供し、ノイズレベル全体で一貫した正規化されたエネルギーを確保します。
Imagenet64データセットのこの\ emph {dual}スコアマッチング目標を使用してエネルギーネットワークをトレーニングし、アートの最新技術に匹敵するクロスエントロピー（負の対数尤度）値を取得します。
さらに、エネルギーモデル\ end {強く一般化}：推定ログ確率がトレーニングセットの特定の画像とほぼ依存していることを示すことで、アプローチを検証します。
最後に、ローカル近隣の画像の確率と次元の両方が、測定の集中や低次元の多様体へのサポートなどの従来の仮定とは対照的に、画像含有量によって大きく異なることを実証します。

要約(オリジナル)

Learning probability models from data is at the heart of many machine learning endeavors, but is notoriously difficult due to the curse of dimensionality. We introduce a new framework for learning \emph{normalized} energy (log probability) models that is inspired from diffusion generative models, which rely on networks optimized to estimate the score. We modify a score network architecture to compute an energy while preserving its inductive biases. The gradient of this energy network with respect to its input image is the score of the learned density, which can be optimized using a denoising objective. Importantly, the gradient with respect to the noise level provides an additional score that can be optimized with a novel secondary objective, ensuring consistent and normalized energies across noise levels. We train an energy network with this \emph{dual} score matching objective on the ImageNet64 dataset, and obtain a cross-entropy (negative log likelihood) value comparable to the state of the art. We further validate our approach by showing that our energy model \emph{strongly generalizes}: estimated log probabilities are nearly independent of the specific images in the training set. Finally, we demonstrate that both image probability and dimensionality of local neighborhoods vary significantly with image content, in contrast with traditional assumptions such as concentration of measure or support on a low-dimensional manifold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google