Fenchel-Young Variational Learning

要約

変動の観点から、多くの統計学習基準には、経験的リスクと正則化のバランスをとる分布を求めることが含まれます。
この論文では、フェンチェルヨン（FY）の損失に基づいた新しい一般的なクラスの変動方法を導入することにより、この視点を広げます。
提案された策定 – FY変動学習 – には、FY自由エネルギー、FY証拠、FY証拠下限、およびFY事後の主要な成分として含まれています。
交互の最小化と勾配のバックプロパゲーションアルゴリズムを導き出して、以前の変動定式化よりも幅広いクラスのモデルを学習できるFY証拠を計算（または下限）します。
これにより、FYの期待値最大化（FYEM）アルゴリズムなどの古典的なアルゴリズムの一般的なFYバリアント、およびFY変分自動エンコーダー（FYVAE）などの潜在的な変動モデルにつながります。
私たちの新しい方法は、経験的に競争力があり、しばしば古典的なカウンターパートを上回ることができ、最も重要なこととして、定性的に新しい機能を持つことが示されています。
たとえば、ファイムは適応的にまばらなEステップを持っていますが、ファイバはまばらな観測とまばらな事後のモデルをサポートできます。

要約(オリジナル)

From a variational perspective, many statistical learning criteria involve seeking a distribution that balances empirical risk and regularization. In this paper, we broaden this perspective by introducing a new general class of variational methods based on Fenchel-Young (FY) losses, treated as divergences that generalize (and encompass) the familiar Kullback-Leibler divergence at the core of classical variational learning. Our proposed formulation — FY variational learning — includes as key ingredients new notions of FY free energy, FY evidence, FY evidence lower bound, and FY posterior. We derive alternating minimization and gradient backpropagation algorithms to compute (or lower bound) the FY evidence, which enables learning a wider class of models than previous variational formulations. This leads to generalized FY variants of classical algorithms, such as an FY expectation-maximization (FYEM) algorithm, and latent-variable models, such as an FY variational autoencoder (FYVAE). Our new methods are shown to be empirically competitive, often outperforming their classical counterparts, and most importantly, to have qualitatively novel features. For example, FYEM has an adaptively sparse E-step, while the FYVAE can support models with sparse observations and sparse posteriors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google