Quasi-Conservative Score-based Generative Models

要約

既存のスコアベースの生成モデル (SGM) は、パラメーター化のアプローチに従って、制約付き SGM (CSGM) または制約なし SGM (USGM) に分類できます。
CSGM は、確率密度関数をボルツマン分布としてモデル化し、その予測をスカラー値のエネルギー関数の負の勾配として割り当てます。
一方、USGM は、エネルギー関数を明示的にモデル化する必要なく、スコアを直接推定できる柔軟なアーキテクチャを採用しています。
このホワイト ペーパーでは、CSGM のアーキテクチャ上の制約により、スコア マッチング機能が制限される可能性があることを示します。
さらに、USGM が保守性の特性を維持できないことが、実際には深刻なサンプリングの非効率性と低下したサンプリング パフォーマンスにつながる可能性があることを示します。
上記の問題に対処するために、CSGM と USGM の両方の利点を維持するために、準保守的なスコアベースの生成モデル (QCSGM) を提案します。
私たちの理論的導出は、ハッチンソン トレース推定器を活用することで、QCSGM のトレーニング目標をトレーニング プロセスに効率的に統合できることを示しています。
さらに、Cifar-10、Cifar-100、ImageNet、および SVHN データセットに関する実験結果は、QCSGM の有効性を検証します。
最後に、1 層オートエンコーダーの例を使用して、QCSGM の利点を正当化します。

要約(オリジナル)

Existing Score-based Generative Models (SGMs) can be categorized into constrained SGMs (CSGMs) or unconstrained SGMs (USGMs) according to their parameterization approaches. CSGMs model the probability density functions as Boltzmann distributions, and assign their predictions as the negative gradients of some scalar-valued energy functions. On the other hand, USGMs employ flexible architectures capable of directly estimating scores without the need to explicitly model energy functions. In this paper, we demonstrate that the architectural constraints of CSGMs may limit their score-matching ability. In addition, we show that USGMs’ inability to preserve the property of conservativeness may lead to serious sampling inefficiency and degraded sampling performance in practice. To address the above issues, we propose Quasi-Conservative Score-based Generative Models (QCSGMs) for keeping the advantages of both CSGMs and USGMs. Our theoretical derivations demonstrate that the training objective of QCSGMs can be efficiently integrated into the training processes by leveraging the Hutchinson trace estimator. In addition, our experimental results on the Cifar-10, Cifar-100, ImageNet, and SVHN datasets validate the effectiveness of QCSGMs. Finally, we justify the advantage of QCSGMs using an example of a one-layered autoencoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google