General Uncertainty Estimation with Delta Variances

要約

意思決定者は、限られたデータによって引き起こされる不確実性に苦しむ可能性があります。
これは、認識論的な不確実性を考慮して緩和される可能性がありますが、これは大規模なニューラルネットワークの効率的な推定が困難です。
この程度まで、認識論的不確実性の定量化のためのアルゴリズムのファミリーであるデルタの分散を調査します。
ニューラルネットワークと、ニューラルネットワークで構成されるより一般的な機能に適用できます。
例として、ニューラルネットワークベースのステップ機能を備えた気象シミュレーターを内部に検討します。ここでは、デルタ変異は、単一の勾配計算のコストで競合結果を経験的に取得します。
このアプローチは、ニューラルネットワークアーキテクチャまたはトレーニング手順に変更を必要としないため、便利です。
特別なケースが一般的な手法を回復し、複数の関連方法に関する統一された視点を提示することに、理論的にはDelta分散を導き出す複数の方法について説明します。
最後に、この一般的な視点が自然な拡張を引き起こし、その利点を経験的に示していることを観察します。

要約(オリジナル)

Decision makers may suffer from uncertainty induced by limited data. This may be mitigated by accounting for epistemic uncertainty, which is however challenging to estimate efficiently for large neural networks. To this extent we investigate Delta Variances, a family of algorithms for epistemic uncertainty quantification, that is computationally efficient and convenient to implement. It can be applied to neural networks and more general functions composed of neural networks. As an example we consider a weather simulator with a neural-network-based step function inside — here Delta Variances empirically obtain competitive results at the cost of a single gradient computation. The approach is convenient as it requires no changes to the neural network architecture or training procedure. We discuss multiple ways to derive Delta Variances theoretically noting that special cases recover popular techniques and present a unified perspective on multiple related methods. Finally we observe that this general perspective gives rise to a natural extension and empirically show its benefit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google