Pretrained Visual Uncertainties

要約

信頼できる機械学習には正確な不確実性の推定が不可欠ですが、通常はタスクごとに不確実性を新たに学習する必要があります。
この研究では、ビジョン モデル用の最初の事前トレーニング済み不確実性モジュールが導入されています。
標準の事前トレーニングと同様に、これにより、大規模な事前トレーニング データセットで学習された不確実性を、特殊な下流データセットにゼロショットで転送できます。
以前の不確実性モジュールにおける勾配の競合を解決し、トレーニングを最大 180 倍高速化することで、ImageNet-21k での大規模な事前トレーニングを可能にします。
事前トレーニングされた不確実性が、目に見えないデータセットに一般化されることがわかりました。
学習された不確実性を精査すると、それらが認識論的な要素から解き放たれた偶発的な不確実性を捉えていることがわかります。
これにより、安全な取得と不確実性を考慮したデータセットの視覚化が可能になることを実証します。
アプリケーションがさらなる問題やドメインに対処できるようにするために、すべての事前トレーニング済みチェックポイントとコードを https://github.com/mkirchhof/url でリリースします。

要約(オリジナル)

Accurate uncertainty estimation is vital to trustworthy machine learning, yet uncertainties typically have to be learned for each task anew. This work introduces the first pretrained uncertainty modules for vision models. Similar to standard pretraining this enables the zero-shot transfer of uncertainties learned on a large pretraining dataset to specialized downstream datasets. We enable our large-scale pretraining on ImageNet-21k by solving a gradient conflict in previous uncertainty modules and accelerating the training by up to 180x. We find that the pretrained uncertainties generalize to unseen datasets. In scrutinizing the learned uncertainties, we find that they capture aleatoric uncertainty, disentangled from epistemic components. We demonstrate that this enables safe retrieval and uncertainty-aware dataset visualization. To encourage applications to further problems and domains, we release all pretrained checkpoints and code under https://github.com/mkirchhof/url .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google