Efficient Bayesian Updates for Deep Learning via Laplace Approximations

要約

ディープ ニューラル ネットワークのトレーニングには大量の計算リソースが必要となるため、通常は完全な再トレーニングが必要となるため、新しいデータでトレーニング データセットを拡張することは困難です。
さらに、特定のアプリケーションでは、時間や計算上の制約により、コストのかかる再トレーニングができません。
我々は、最終層のラプラス近似を使用したディープ ニューラル ネットワークの新しいベイジアン更新方法を提案することで、この問題に対処します。
具体的には、ラプラス近似のガウス事後分布に二次最適化手法を活用し、閉じた形式で逆ヘッセ行列を計算します。
このようにして、私たちの方法は、定常環境で新しいデータが到着したときに、迅速かつ効果的な更新を可能にします。
さまざまなデータモダリティにわたる大規模な評価研究により、当社のアップデートがコストのかかる再トレーニングに代わる高速で競争力のある代替手段であることが確認されています。
さらに、アップデートを使用して既存の選択戦略を改善することで、ディープ アクティブ ラーニング シナリオへの適用可能性を実証します。

要約(オリジナル)

Since training deep neural networks takes significant computational resources, extending the training dataset with new data is difficult, as it typically requires complete retraining. Moreover, specific applications do not allow costly retraining due to time or computational constraints. We address this issue by proposing a novel Bayesian update method for deep neural networks by using a last-layer Laplace approximation. Concretely, we leverage second-order optimization techniques on the Gaussian posterior distribution of a Laplace approximation, computing the inverse Hessian matrix in closed form. This way, our method allows for fast and effective updates upon the arrival of new data in a stationary setting. A large-scale evaluation study across different data modalities confirms that our updates are a fast and competitive alternative to costly retraining. Furthermore, we demonstrate its applicability in a deep active learning scenario by using our update to improve existing selection strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google