Expressive Score-Based Priors for Distribution Matching with Geometry-Preserving Regularization

要約

分布マッチング（DM）は、公正な分類、ドメイン適応、ドメイン翻訳などのタスクに適用されている多用途のドメイン不変表現学習技術です。
ノンパラメトリックDMメソッドは、スケーラビリティと敵対的なDMアプローチに苦労しており、不安定性とモードの崩壊に苦しんでいます。
尤度ベースの方法は有望な代替手段ですが、しばしば固定の事前に不必要なバイアスを課したり、訓練に挑戦する可能性のある明示的な密度モデル（フローなど）を必要とします。
表現力豊かなスコアベースの事前分布を使用して、尤度ベースのDMをトレーニングするための新しいアプローチを導入することにより、この制限に対処します。
私たちの重要な洞察は、グラデーションベースのDMトレーニングには、その密度ではなく、事前のスコア関数のみが必要であるということです。
このアプローチは、固定されたプライアー（例えば、VAES）からのバイアスを排除し、明示的な事前密度モデル（フローベースの事前）を学習するという課題を回避しながら、ジオメトリを提供する正則化のより効果的な使用を可能にします。
また、私たちの方法は、他の拡散ベースのプライアー（例：LSGM）と比較して、より良い安定性と計算効率を示しています。
さらに、実験は複数のタスクで優れたパフォーマンスを示し、分布マッチングに対する安定した効果的なアプローチとしてスコアベースの方法を確立します。
https://github.com/inouye-lab/saubで入手可能なソースコード。

要約(オリジナル)

Distribution matching (DM) is a versatile domain-invariant representation learning technique that has been applied to tasks such as fair classification, domain adaptation, and domain translation. Non-parametric DM methods struggle with scalability and adversarial DM approaches suffer from instability and mode collapse. While likelihood-based methods are a promising alternative, they often impose unnecessary biases through fixed priors or require explicit density models (e.g., flows) that can be challenging to train. We address this limitation by introducing a novel approach to training likelihood-based DM using expressive score-based prior distributions. Our key insight is that gradient-based DM training only requires the prior’s score function — not its density — allowing us to train the prior via denoising score matching. This approach eliminates biases from fixed priors (e.g., in VAEs), enabling more effective use of geometry-preserving regularization, while avoiding the challenge of learning an explicit prior density model (e.g., a flow-based prior). Our method also demonstrates better stability and computational efficiency compared to other diffusion-based priors (e.g., LSGM). Furthermore, experiments demonstrate superior performance across multiple tasks, establishing our score-based method as a stable and effective approach to distribution matching. Source code available at https://github.com/inouye-lab/SAUB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google