Lightning UQ Box: A Comprehensive Framework for Uncertainty Quantification in Deep Learning

要約

不確実性定量化 (UQ) は、DNN 出力にある程度の信頼性を与えるため、ディープ ニューラル ネットワーク (DNN) を現実世界のタスクに適用するために不可欠なツールです。
ただし、その利点にもかかわらず、UQ は、既存の UQ 手順を適用して評価するために追加の技術的知識が必要となるため、標準的な DNN ワークフローから除外されることがよくあります。
したがって、ユーザーが大幅なオーバーヘッドなしで UQ をモデリング ワークフローに統合できる包括的なツールボックスが必要です。
\texttt{Lightning UQ Box} を紹介します。これは、UQ へのさまざまなアプローチを適用および評価するための統合インターフェイスです。
このペーパーでは、ツールボックスに実装されている幅広い最先端の UQ メソッドの理論的および定量的な比較を提供します。
私たちは、(i) 赤外線衛星画像からの熱帯低気圧の風速の推定、および (ii) 空の RGB 画像からのソーラー パネルの出力の推定という 2 つの困難なビジョン タスクに焦点を当てます。
手法間の違いを強調することで、我々の結果は、UQ 手法のベンチマークに使用できる、UQ の広範で取り組みやすい実験フレームワークの必要性を示しています。
ツールボックス、実装例、および詳細情報は、https://github.com/lightning-uq-box/lightning-uq-box から入手できます。

要約(オリジナル)

Uncertainty quantification (UQ) is an essential tool for applying deep neural networks (DNNs) to real world tasks, as it attaches a degree of confidence to DNN outputs. However, despite its benefits, UQ is often left out of the standard DNN workflow due to the additional technical knowledge required to apply and evaluate existing UQ procedures. Hence there is a need for a comprehensive toolbox that allows the user to integrate UQ into their modelling workflow, without significant overhead. We introduce \texttt{Lightning UQ Box}: a unified interface for applying and evaluating various approaches to UQ. In this paper, we provide a theoretical and quantitative comparison of the wide range of state-of-the-art UQ methods implemented in our toolbox. We focus on two challenging vision tasks: (i) estimating tropical cyclone wind speeds from infrared satellite imagery and (ii) estimating the power output of solar panels from RGB images of the sky. By highlighting the differences between methods our results demonstrate the need for a broad and approachable experimental framework for UQ, that can be used for benchmarking UQ methods. The toolbox, example implementations, and further information are available at: https://github.com/lightning-uq-box/lightning-uq-box

arxiv情報

提供元, 利用サービス

arxiv.jp, Google