Benchmarking Uncertainty Disentanglement: Specialized Uncertainties for Specialized Tasks

要約

不確実性の定量化は、かつては単一のタスクでしたが、現在では、棄権予測、分布外の検出、偶発的な不確実性の定量化など、さまざまなタスクに進化しています。
最新の目標は、もつれを解くことです。つまり、それぞれが 1 つだけのタスクに合わせて調整された複数の推定量を構築することです。
したがって、さまざまな意図を持った最近の進歩が数多くありますが、それらは実際の行動から完全に逸脱していることがよくあります。
この論文では、ImageNet 上のさまざまなタスクにわたる多数の不確実性推定器の包括的な評価を実施します。
有望な理論的試みにもかかわらず、実際には絡み合いの解消はまだ達成されていないことがわかりました。
さらに、どの不確実性推定者がどの特定のタスクに優れているかを明らかにし、実務者に洞察を提供し、タスク中心でもつれのない不確実性推定手法に向けた将来の研究を導きます。
私たちのコードは https://github.com/bmucsanyi/bud で入手できます。

要約(オリジナル)

Uncertainty quantification, once a singular task, has evolved into a spectrum of tasks, including abstained prediction, out-of-distribution detection, and aleatoric uncertainty quantification. The latest goal is disentanglement: the construction of multiple estimators that are each tailored to one and only one task. Hence, there is a plethora of recent advances with different intentions – that often entirely deviate from practical behavior. This paper conducts a comprehensive evaluation of numerous uncertainty estimators across diverse tasks on ImageNet. We find that, despite promising theoretical endeavors, disentanglement is not yet achieved in practice. Additionally, we reveal which uncertainty estimators excel at which specific tasks, providing insights for practitioners and guiding future research toward task-centric and disentangled uncertainty estimation methods. Our code is available at https://github.com/bmucsanyi/bud.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google