Amortised Inference in Bayesian Neural Networks

要約

メタラーニングは、テスト時に新しいデータセットに対する予測を生成するために、一連のデータセットに対して機械学習モデルをトレーニングするフレームワークです。
確率的メタ学習は、近年研究コミュニティから多くの注目を集めていますが、多くの既存の確率的メタモデルに共通する問題は、適切な精度で高品質な予測を生成するために非常に多くのデータセットが必要であることです。
校正された不確実性の推定値。
しかし、多くのアプリケーションでは、そのような量のデータはまったく利用できません。
この論文では、ベイジアン ニューラル ネットワークにおける推論のデータポイントごとの償却を通じて、確率的メタ学習に対するデータ効率が大幅に向上したアプローチを紹介し、Amortized Pseudo-Observation variational Inference Bayesian Neural Network (APOVI-BNN) を紹介します。
まず、償却推論が 1 回の順方向パスで実行されるという事実にもかかわらず、償却スキームで得られた近似事後値は、従来の変分推論で得られたものと同等以上の品質であることを示します。
次に、APOVI-BNN が神経プロセスファミリーの新しいメンバーとしてどのようにみなされ、結果として複雑な問題に対する予測パフォーマンスが向上する可能性をもたらす神経プロセストレーニング目標の使用を動機付ける方法について説明します。
最後に、一次元回帰問題と非常に複雑な画像補完設定の両方で、他の確率的メタモデルに対する APOVI-BNN の予測パフォーマンスを評価します。
どちらの場合も、トレーニング データの量が限られている場合、私たちのモデルはそのクラスで最高です。

要約(オリジナル)

Meta-learning is a framework in which machine learning models train over a set of datasets in order to produce predictions on new datasets at test time. Probabilistic meta-learning has received an abundance of attention from the research community in recent years, but a problem shared by many existing probabilistic meta-models is that they require a very large number of datasets in order to produce high-quality predictions with well-calibrated uncertainty estimates. In many applications, however, such quantities of data are simply not available. In this dissertation we present a significantly more data-efficient approach to probabilistic meta-learning through per-datapoint amortisation of inference in Bayesian neural networks, introducing the Amortised Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN). First, we show that the approximate posteriors obtained under our amortised scheme are of similar or better quality to those obtained through traditional variational inference, despite the fact that the amortised inference is performed in a single forward pass. We then discuss how the APOVI-BNN may be viewed as a new member of the neural process family, motivating the use of neural process training objectives for potentially better predictive performance on complex problems as a result. Finally, we assess the predictive performance of the APOVI-BNN against other probabilistic meta-models in both a one-dimensional regression problem and in a significantly more complex image completion setting. In both cases, when the amount of training data is limited, our model is the best in its class.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google