A comparative study of conformal prediction methods for valid uncertainty quantification in machine learning

要約

過去数十年間、データ分析や機械学習の分野では、予測モデルを最適化し、既存のモデルで可能な結果よりも優れた結果を得ることに、ほとんどの研究が焦点を当てていた。そのような改善が測定されたメトリクスがどの程度正確に意図された目標を捉えているのか、その結果得られた数値の差が有意であるのか、あるいは不確実性がこの研究でどのような役割を果たしているのか、考慮されるべきであったのか、などは二の次であった。スーパーコンピューターが登場する以前は、頻度論的であれベイズ論的であれ、確率論が科学の金字塔であったが、大規模なデータセットを扱えるという理由で、ブラックボックス・モデルや圧倒的な計算能力に取って代わられた。この進化は、悲しいことに解釈可能性と信頼性を犠牲にして起こった。しかし、人々がモデルの予測力を向上させようと試みている一方で、コミュニティは、多くのアプリケーションにとって重要なのは正確な予測ではなく、むしろ変動性や不確実性であることに気づき始めている。 本論文では、誰もが不確実性を認識し、それがいかに重要であるかを認識し、不確実性を恐れるのではなく、それをどのように受け入れるべきかを追求する。一般的ではあるが、誰もが正確な不確実性推定を行うことができる具体的なフレームワークが特定され、分析されている。このフレームワークのある側面と応用–「コンフォーマル予測」と呼ばれる–が詳細に研究されている。不確定性定量化への多くのアプローチがデータについて強い仮定を置くのに対し、コンフォーマル予測は、本稿執筆時点で、「無分布」の称号に値する唯一のフレームワークである。パラメトリックな仮定をする必要がなく、ノンパラメトリックな結果も漸近領域で大数の法則に頼ることなく成り立つ。

要約(オリジナル)

In the past decades, most work in the area of data analysis and machine learning was focused on optimizing predictive models and getting better results than what was possible with existing models. To what extent the metrics with which such improvements were measured were accurately capturing the intended goal, whether the numerical differences in the resulting values were significant, or whether uncertainty played a role in this study and if it should have been taken into account, was of secondary importance. Whereas probability theory, be it frequentist or Bayesian, used to be the gold standard in science before the advent of the supercomputer, it was quickly replaced in favor of black box models and sheer computing power because of their ability to handle large data sets. This evolution sadly happened at the expense of interpretability and trustworthiness. However, while people are still trying to improve the predictive power of their models, the community is starting to realize that for many applications it is not so much the exact prediction that is of importance, but rather the variability or uncertainty. The work in this dissertation tries to further the quest for a world where everyone is aware of uncertainty, of how important it is and how to embrace it instead of fearing it. A specific, though general, framework that allows anyone to obtain accurate uncertainty estimates is singled out and analysed. Certain aspects and applications of the framework — dubbed `conformal prediction’ — are studied in detail. Whereas many approaches to uncertainty quantification make strong assumptions about the data, conformal prediction is, at the time of writing, the only framework that deserves the title `distribution-free’. No parametric assumptions have to be made and the nonparametric results also hold without having to resort to the law of large numbers in the asymptotic regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL