Engression: Extrapolation for Nonlinear Regression?

要約

トレーニング サポート外のテスト データに遭遇することが一般的であるため、外挿は多くの統計および機械学習アプリケーションにおいて非常に重要です。
ただし、非線形モデルにとって外挿はかなりの課題です。
従来のモデルは通常、この点で苦労しています。ツリー アンサンブルはサポートを超える一定の予測を提供しますが、ニューラル ネットワークの予測は制御不能になる傾向があります。
この研究の目的は、トレーニング サポートの境界で信頼性がすぐに崩れない非線形回帰手法を提供することです。
私たちの主な貢献は、「入口」と呼ばれる新しい方法です。これは、本質的には、非線形変換を適用する前にノイズが共変量に追加される前加法ノイズ モデルの分布回帰手法です。
私たちの実験結果は、このモデルが多くの実データセットに通常適していることを示しています。
最小二乗回帰や分位回帰などの従来の回帰アプローチは、同じ仮定の下では不十分であるのに対し、厳密に単調な関数クラスなどのいくつかの仮定の下では、回帰は正常に外挿を実行できることを示します。
我々は、外挿の観点から既存のアプローチに対する進入の利点を確立し、進入が一貫して有意義な改善をもたらすことを示しています。
シミュレーションデータと実際のデータの両方から得た実証結果はこれらの発見を検証し、進入法の有効性を強調しています。
Engression のソフトウェア実装は、R と Python の両方で利用できます。

要約(オリジナル)

Extrapolation is crucial in many statistical and machine learning applications, as it is common to encounter test data outside the training support. However, extrapolation is a considerable challenge for nonlinear models. Conventional models typically struggle in this regard: while tree ensembles provide a constant prediction beyond the support, neural network predictions tend to become uncontrollable. This work aims at providing a nonlinear regression methodology whose reliability does not break down immediately at the boundary of the training support. Our primary contribution is a new method called `engression’ which, at its core, is a distributional regression technique for pre-additive noise models, where the noise is added to the covariates before applying a nonlinear transformation. Our experimental results indicate that this model is typically suitable for many real data sets. We show that engression can successfully perform extrapolation under some assumptions such as a strictly monotone function class, whereas traditional regression approaches such as least-squares regression and quantile regression fall short under the same assumptions. We establish the advantages of engression over existing approaches in terms of extrapolation, showing that engression consistently provides a meaningful improvement. Our empirical results, from both simulated and real data, validate these findings, highlighting the effectiveness of the engression method. The software implementations of engression are available in both R and Python.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google