Optimal Aggregation of Prediction Intervals under Unsupervised Domain Shift

要約

機械学習モデルが動的環境に導入されることが増えているため、分布の変化に伴う不確実性を評価し、定量化することが最も重要になっています。
基礎となるデータ生成プロセスが変更されると分布の変化が発生し、モデルのパフォーマンスに偏差が生じます。
特定の予測に対して起こりそうな結果の範囲を把握する予測区間は、基礎となる分布によって引き起こされる不確実性を特徴付けるための重要なツールとして機能します。
この論文では、教師なしドメイン シフトの下でターゲット ドメイン上で最小の幅と適切なカバレッジを持つ予測区間を取得するための予測区間を集計する方法論を提案します。この手法では、関連するソース ドメインからのサンプルとターゲット ドメインからのラベルなしの共変量をラベル付けしました。
私たちの分析には、i) 有界密度比、および ii) 測度保存変換を介してソース ドメインとターゲット ドメインが関連付けられるシナリオが含まれます。
私たちが提案する方法論は計算効率が高く、実装が簡単です。
現実世界のデータセットを通じてメソッドのパフォーマンスを説明するだけでなく、理論的な詳細も掘り下げます。
これには、予測区間の範囲と幅に関して、有限のサンプル境界と組み合わせた厳密な理論的保証を確立することが含まれます。
私たちのアプローチは実用的なアプリケーションに優れており、強固な理論的フレームワークに支えられており、さまざまな状況にわたってその信頼性と有効性が保証されています。

要約(オリジナル)

As machine learning models are increasingly deployed in dynamic environments, it becomes paramount to assess and quantify uncertainties associated with distribution shifts. A distribution shift occurs when the underlying data-generating process changes, leading to a deviation in the model’s performance. The prediction interval, which captures the range of likely outcomes for a given prediction, serves as a crucial tool for characterizing uncertainties induced by their underlying distribution. In this paper, we propose methodologies for aggregating prediction intervals to obtain one with minimal width and adequate coverage on the target domain under unsupervised domain shift, under which we have labeled samples from a related source domain and unlabeled covariates from the target domain. Our analysis encompasses scenarios where the source and the target domain are related via i) a bounded density ratio, and ii) a measure-preserving transformation. Our proposed methodologies are computationally efficient and easy to implement. Beyond illustrating the performance of our method through real-world datasets, we also delve into the theoretical details. This includes establishing rigorous theoretical guarantees, coupled with finite sample bounds, regarding the coverage and width of our prediction intervals. Our approach excels in practical applications and is underpinned by a solid theoretical framework, ensuring its reliability and effectiveness across diverse contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google