Learning in Deep Factor Graphs with Gaussian Belief Propagation

要約

ガウス因子グラフで学習を行うアプローチを提案します。
すべての関連する量 (入力、出力、パラメーター、潜在) をグラフィカル モデルの確率変数として扱い、トレーニングと予測の両方をさまざまな観察ノードによる推論問題として見ます。
私たちの実験は、これらの問題が信念伝播 (BP) によって効率的に解決できることを示しています。BP の更新は本質的にローカルであり、分散型非同期トレーニングに刺激的な機会をもたらします。
私たちのアプローチは深いネットワークに拡張でき、継続的な学習を行うための自然な手段を提供します。つまり、現在のタスクの BP 推定パラメータ限界を次のタスクの事前パラメータとして使用します。
ビデオのノイズ除去タスクでは、従来のファクター グラフ アプローチよりも学習可能なパラメーターの利点を実証し、継続的な画像分類におけるディープ ファクター グラフの優れたパフォーマンスを示します。

要約(オリジナル)

We propose an approach to do learning in Gaussian factor graphs. We treat all relevant quantities (inputs, outputs, parameters, latents) as random variables in a graphical model, and view both training and prediction as inference problems with different observed nodes. Our experiments show that these problems can be efficiently solved with belief propagation (BP), whose updates are inherently local, presenting exciting opportunities for distributed and asynchronous training. Our approach can be scaled to deep networks and provides a natural means to do continual learning: use the BP-estimated parameter marginals of the current task as parameter priors for the next. On a video denoising task we demonstrate the benefit of learnable parameters over a classical factor graph approach and we show encouraging performance of deep factor graphs for continual image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google