ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference

要約

有用な予測を生成するディープ ネットワークの能力は十分に実証されていますが、これらの予測の信頼性を推定することは依然として困難です。
MC ドロップアウトやディープ アンサンブルなどのサンプリング アプローチが、この目的で最も一般的なものとして浮上しています。
残念ながら、推論時に多くの前方パスが必要となるため、速度が低下します。
サンプリングフリーのアプローチは高速である可能性がありますが、不確実性推定の信頼性の低下、使用の難しさ、さまざまな種類のタスクやデータへの適用の制限など、他の欠点もあります。
この研究では、大幅に低い計算コストで最先端の手法と同等の信頼できる不確かさの推定を生成しながら、一般的で展開が簡単なサンプリングフリーのアプローチを導入します。
これは、ネットワークに関する追加情報の有無にかかわらず、同じ出力を生成するようにネットワークをトレーニングすることを前提としています。
推論時に事前情報が与えられない場合は、ネットワーク独自の予測を追加情報として使用します。
次に、事前情報がある場合とない場合の予測間の距離を不確実性の尺度として採用します。
いくつかの分類および回帰タスクに対するアプローチを示します。
Ensembles と同等の結果が、はるかに低い計算コストで得られることを示します。

要約(オリジナル)

Whereas the ability of deep networks to produce useful predictions has been amply demonstrated, estimating the reliability of these predictions remains challenging. Sampling approaches such as MC-Dropout and Deep Ensembles have emerged as the most popular ones for this purpose. Unfortunately, they require many forward passes at inference time, which slows them down. Sampling-free approaches can be faster but suffer from other drawbacks, such as lower reliability of uncertainty estimates, difficulty of use, and limited applicability to different types of tasks and data. In this work, we introduce a sampling-free approach that is generic and easy to deploy, while producing reliable uncertainty estimates on par with state-of-the-art methods at a significantly lower computational cost. It is predicated on training the network to produce the same output with and without additional information about it. At inference time, when no prior information is given, we use the network’s own prediction as the additional information. We then take the distance between the predictions with and without prior information as our uncertainty measure. We demonstrate our approach on several classification and regression tasks. We show that it delivers results on par with those of Ensembles but at a much lower computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google