URL: A Representation Learning Benchmark for Transferable Uncertainty Estimates

要約

表現学習により、この分野では、新しいデータセットに転送する際の貴重な出発点として機能する事前トレーニング済みモデルの開発が大幅に推進されました。
信頼性の高い機械学習と不確実性の定量化に対する需要が高まる中、埋め込みだけでなく転送可能な不確実性推定も提供する事前トレーニング済みモデルの必要性が生じています。
このようなモデルの開発をガイドするために、不確実性を考慮した表現学習 (URL) ベンチマークを提案します。
表現の伝達可能性に加えて、新しい指標を使用して不確実性推定のゼロショット伝達可能性も測定します。
URL を適用して、ImageNet で事前トレーニングされ、8 つの下流データセットに転送される 11 個の不確実性定量化子を評価します。
表現自体の不確実性に焦点を当てたり、予測リスクを推定したりするアプローチが、上流クラスの確率に基づくアプローチよりも優れたパフォーマンスを発揮することがわかりました。
しかし、移転可能な不確実性の定量化を達成することは依然として未解決の課題です。
私たちの調査結果は、それが従来の表現学習の目標と必ずしも矛盾しないことを示しています。
コードは https://github.com/mkirchhof/url で提供されます。

要約(オリジナル)

Representation learning has significantly driven the field to develop pretrained models that can act as a valuable starting point when transferring to new datasets. With the rising demand for reliable machine learning and uncertainty quantification, there is a need for pretrained models that not only provide embeddings but also transferable uncertainty estimates. To guide the development of such models, we propose the Uncertainty-aware Representation Learning (URL) benchmark. Besides the transferability of the representations, it also measures the zero-shot transferability of the uncertainty estimate using a novel metric. We apply URL to evaluate eleven uncertainty quantifiers that are pretrained on ImageNet and transferred to eight downstream datasets. We find that approaches that focus on the uncertainty of the representation itself or estimate the prediction risk directly outperform those that are based on the probabilities of upstream classes. Yet, achieving transferable uncertainty quantification remains an open challenge. Our findings indicate that it is not necessarily in conflict with traditional representation learning goals. Code is provided under https://github.com/mkirchhof/url .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google