Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning

要約

不確実性の定量化 (UQ) は、多くの高次元回帰または学習問題において、特定の予測変数の信頼性を高めるための重要かつ困難なタスクです。
私たちは、LASSO などの古典的な回帰アプローチとニューラル ネットワークの両方に適用される、回帰における UQ のための新しいデータ駆動型アプローチを開発します。
最も注目すべき UQ 手法の 1 つは偏り解消 LASSO です。これは、推定誤差をガウス分布と漸近的に消失するバイアス成分に分解することで、漸近的信頼区間を構築できるように LASSO を修正します。
ただし、有限次元データを使用した現実の問題では、バイアス項が無視できないほど重要であることが多く、その結果、信頼区間が過度に狭くなります。
私たちの研究はこの問題に厳密に取り組み、高次元の集中現象を利用して、トレーニング データからバイアス項の平均と分散を推定することにより、大規模な予測変数の信頼区間を修正するデータ駆動型の調整を導き出します。
これにより、漸近的でない信頼区間が生じ、MRI 診断などの重要なアプリケーションにおける不確実性の過大評価を避けることができます。
重要なのは、私たちの分析はスパース回帰を超えてニューラル ネットワークなどのデータ駆動型の予測子にまで拡張されており、モデルベースの深層学習の信頼性が向上しています。
私たちの発見は、確立された理論とそのようなバイアスを軽減した手法の実際の適用可能性との間のギャップを埋めるものです。

要約(オリジナル)

Uncertainty quantification (UQ) is a crucial but challenging task in many high-dimensional regression or learning problems to increase the confidence of a given predictor. We develop a new data-driven approach for UQ in regression that applies both to classical regression approaches such as the LASSO as well as to neural networks. One of the most notable UQ techniques is the debiased LASSO, which modifies the LASSO to allow for the construction of asymptotic confidence intervals by decomposing the estimation error into a Gaussian and an asymptotically vanishing bias component. However, in real-world problems with finite-dimensional data, the bias term is often too significant to be neglected, resulting in overly narrow confidence intervals. Our work rigorously addresses this issue and derives a data-driven adjustment that corrects the confidence intervals for a large class of predictors by estimating the means and variances of the bias terms from training data, exploiting high-dimensional concentration phenomena. This gives rise to non-asymptotic confidence intervals, which can help avoid overestimating uncertainty in critical applications such as MRI diagnosis. Importantly, our analysis extends beyond sparse regression to data-driven predictors like neural networks, enhancing the reliability of model-based deep learning. Our findings bridge the gap between established theory and the practical applicability of such debiased methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google