Consistency and adaptivity are complementary targets for the validation of variance-based uncertainty quantification metrics in machine learning regression tasks

要約

機械学習 (ML) 回帰タスクにおける信頼性の高い不確実性定量化 (UQ) は、材料科学および化学科学の多くの研究の焦点になりつつあります。
現在、平均的な校正では不十分であることがよく理解されており、ほとんどの研究では、不確実性、つまり一貫性に関する条件付き校正をテストする追加の方法が実装されています。
一貫性は主に、いわゆる信頼性図によって評価されます。
しかし、平均的なキャリブレーションを超える別の方法が存在します。それは、入力特徴、つまり適応性に関する条件付きキャリブレーションです。
実際には、適応性は ML-UQ 法の最終ユーザーの主な関心事であり、特徴空間の任意の点に対する予測の信頼性と不確実性を求めています。
この記事の目的は、一貫性と適応性が相補的な検証対象であり、良好な一貫性が良好な適応性を意味するわけではないことを示すことです。
適応された検証方法が提案され、代表的な例で示されています。

要約(オリジナル)

Reliable uncertainty quantification (UQ) in machine learning (ML) regression tasks is becoming the focus of many studies in materials and chemical science. It is now well understood that average calibration is insufficient, and most studies implement additional methods testing the conditional calibration with respect to uncertainty, i.e. consistency. Consistency is assessed mostly by so-called reliability diagrams. There exists however another way beyond average calibration, which is conditional calibration with respect to input features, i.e. adaptivity. In practice, adaptivity is the main concern of the final users of a ML-UQ method, seeking for the reliability of predictions and uncertainties for any point in features space. This article aims to show that consistency and adaptivity are complementary validation targets, and that a good consistency does not imply a good adaptivity. Adapted validation methods are proposed and illustrated on a representative example.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google