Regression Conformal Prediction under Bias

要約

不確実性の定量化は、影響の大きいアプリケーションの機械学習アルゴリズムの不完全な予測を説明するために重要です。
等角予測 (CP) は、有効な範囲で調整された予測間隔を生成する、不確実性を定量化するための強力なフレームワークです。
この研究では、CP 間隔がバイアス (グランド トゥルース値からの予測の体系的な偏差) によってどのように影響を受けるかを研究します。これは、現実世界の多くのアプリケーションでよく見られる現象です。
我々は、2 つの異なるタイプの調整の間隔の長さに及ぼすバイアスの影響を調査します。対称調整は、間隔の両側が均等に調整される従来の方法であり、非対称調整は、間隔を正方向に不均等に調整できるより柔軟な方法です。
またはマイナス方向。
対称および非対称の調整が回帰タスクの CP 間隔の「狭さ」にどのような影響を与えるかを特徴付ける理論的および経験的分析を紹介します。
特に、絶対残差および分位数ベースの不適合スコアについては、次のことを証明します。1) 対称的に調整された区間の長さの上限は、$2|b|$ ずつ増加します。ここで、$b$ は、バイアスを表すグローバルに適用されるスカラー値です。2) 非対称的に調整されます。
間隔の長さはバイアスの影響を受けません。3) 非対称に調整された間隔の長さが対称のものよりも小さいことが保証される条件。
私たちの分析は、予測がグランドトゥルース値からの大幅なドリフトを示したとしても、非対称的に調整された間隔はドリフトがまったく起こらなかったかのように同じ間隔の厳密さと有効性を維持できる一方、対称的なものは長さを大幅に膨張させることを示唆しています。
スパースビューコンピュータ断層撮影 (CT) 再構成と時系列天気予報という 2 つの現実世界の予測タスクを使用して、理論的結果を実証します。
私たちの取り組みは、よりバイアスに強い機械学習システムへの道を切り開きます。

要約(オリジナル)

Uncertainty quantification is crucial to account for the imperfect predictions of machine learning algorithms for high-impact applications. Conformal prediction (CP) is a powerful framework for uncertainty quantification that generates calibrated prediction intervals with valid coverage. In this work, we study how CP intervals are affected by bias – the systematic deviation of a prediction from ground truth values – a phenomenon prevalent in many real-world applications. We investigate the influence of bias on interval lengths of two different types of adjustments — symmetric adjustments, the conventional method where both sides of the interval are adjusted equally, and asymmetric adjustments, a more flexible method where the interval can be adjusted unequally in positive or negative directions. We present theoretical and empirical analyses characterizing how symmetric and asymmetric adjustments impact the ‘tightness’ of CP intervals for regression tasks. Specifically for absolute residual and quantile-based non-conformity scores, we prove: 1) the upper bound of symmetrically adjusted interval lengths increases by $2|b|$ where $b$ is a globally applied scalar value representing bias, 2) asymmetrically adjusted interval lengths are not affected by bias, and 3) conditions when asymmetrically adjusted interval lengths are guaranteed to be smaller than symmetric ones. Our analyses suggest that even if predictions exhibit significant drift from ground truth values, asymmetrically adjusted intervals are still able to maintain the same tightness and validity of intervals as if the drift had never happened, while symmetric ones significantly inflate the lengths. We demonstrate our theoretical results with two real-world prediction tasks: sparse-view computed tomography (CT) reconstruction and time-series weather forecasting. Our work paves the way for more bias-robust machine learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google