Variation Due to Regularization Tractably Recovers Bayesian Deep Learning

要約

深い学習における不確実性の定量化は、ダウンストリームタスクでの安全で信頼できる意思決定には重要です。
既存の方法は、モデルの不確実性の原因を見逃す可能性のあるネットワークの最後のレイヤーまたはその他の近似で不確実性を定量化します。
このギャップに対処するために、正則化による変動に基づいて、大規模なネットワークの不確実性定量化方法を提案します。
基本的に、ネットワークパラメーターの正則化に敏感な（それぞれ少ない）予測は、それぞれ（それぞれ、それぞれ）確実にあります。
この原則は、微調整フェーズ中のトレーニング損失を決定論的に調整することで実装でき、ネットワークのすべての層の関数としての出力に対する信頼を反映します。
正則化のバリエーション（REGVAR）は、無限の制限で、ベイジアンディープラーニングのラプラス近似を正確に回復するという厳しい不確実性の推定を提供することを示します。
いくつかの深い学習アーキテクチャでの成功を示し、不確実性の定量化の品質を維持または改善しながら、ネットワークサイズと断固として縮小できることを示しています。
複数のデータセットの実験は、Regvarが不確実な予測を効果的に特定するだけでなく、学習した表現の安定性に関する洞察を提供することを示しています。

要約(オリジナル)

Uncertainty quantification in deep learning is crucial for safe and reliable decision-making in downstream tasks. Existing methods quantify uncertainty at the last layer or other approximations of the network which may miss some sources of uncertainty in the model. To address this gap, we propose an uncertainty quantification method for large networks based on variation due to regularization. Essentially, predictions that are more (less) sensitive to the regularization of network parameters are less (more, respectively) certain. This principle can be implemented by deterministically tweaking the training loss during the fine-tuning phase and reflects confidence in the output as a function of all layers of the network. We show that regularization variation (RegVar) provides rigorous uncertainty estimates that, in the infinitesimal limit, exactly recover the Laplace approximation in Bayesian deep learning. We demonstrate its success in several deep learning architectures, showing it can scale tractably with the network size while maintaining or improving uncertainty quantification quality. Our experiments across multiple datasets show that RegVar not only identifies uncertain predictions effectively but also provides insights into the stability of learned representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google