Discretization-Induced Dirichlet Posterior for Robust Uncertainty Quantification on Regression

要約

不確実性の定量化は、現実世界のアプリケーションにディープ ニューラル ネットワーク (DNN) を展開するために重要です。
補助不確実性推定器 (AuxUE) は、メイン タスク モデルを変更せずにメイン タスク予測の不確実性を推定する最も効果的な手段の 1 つです。
堅牢であるとみなされるためには、AuxUE がそのパフォーマンスを維持し、配信外 (OOD) 入力に遭遇しながらもより高い不確実性を引き起こすことができなければなりません。つまり、堅牢な偶然的かつ認識的な不確実性を提供できる必要があります。
ただし、視覚回帰タスクの場合、現在の AuxUE 設計は主に偶然の不確実性の推定に採用されており、AuxUE の堅牢性は調査されていません。
この研究では、回帰タスクにおけるより堅牢な不確実性の定量化のための一般化された AuxUE スキームを提案します。
具体的には、より堅牢な偶然の不確実性推定を達成するために、不均一分散ノイズに対してさまざまな分布仮定が考慮され、最終的に予測誤差を近似するためにラプラス分布が選択されます。
認識論的不確実性については、離散化予測誤差に基づいてディリクレ事後分布をモデル化する、離散化誘導ディリクレ pOsterior (DIDO) という新しい解決策を提案します。
年齢推定、単眼奥行き推定、および超解像タスクに関する広範な実験により、提案した方法がノイズの多い入力に直面しても堅牢な不確実性推定を提供できること、および画像レベルとピクセル単位のタスクの両方に拡張可能であることが示されています。
コードは https://github.com/ENSTA-U2IS/DIDO で入手できます。

要約(オリジナル)

Uncertainty quantification is critical for deploying deep neural networks (DNNs) in real-world applications. An Auxiliary Uncertainty Estimator (AuxUE) is one of the most effective means to estimate the uncertainty of the main task prediction without modifying the main task model. To be considered robust, an AuxUE must be capable of maintaining its performance and triggering higher uncertainties while encountering Out-of-Distribution (OOD) inputs, i.e., to provide robust aleatoric and epistemic uncertainty. However, for vision regression tasks, current AuxUE designs are mainly adopted for aleatoric uncertainty estimates, and AuxUE robustness has not been explored. In this work, we propose a generalized AuxUE scheme for more robust uncertainty quantification on regression tasks. Concretely, to achieve a more robust aleatoric uncertainty estimation, different distribution assumptions are considered for heteroscedastic noise, and Laplace distribution is finally chosen to approximate the prediction error. For epistemic uncertainty, we propose a novel solution named Discretization-Induced Dirichlet pOsterior (DIDO), which models the Dirichlet posterior on the discretized prediction error. Extensive experiments on age estimation, monocular depth estimation, and super-resolution tasks show that our proposed method can provide robust uncertainty estimates in the face of noisy inputs and that it can be scalable to both image-level and pixel-wise tasks. Code is available at https://github.com/ENSTA-U2IS/DIDO .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google