Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift

要約

利用可能なトレーニング データとは異なる分布に対して堅牢に動作するディープ ニューラル ネットワーク分類器の設計は、機械学習研究の活発な分野です。
ただし、回帰の分布外一般化 (連続ターゲットをモデル化する場合の類似の問題) は、比較的未調査のままです。
この問題に取り組むために、第一原理に戻り、最小二乗法 (OLS) 回帰の閉形式解が共変量シフトの影響をどのように受けやすいかを分析します。
ソース データとターゲット データの固有スペクトル分解の観点から、OLS モデルの分布外リスクを特徴付けます。
次に、この洞察を使用して、事前トレーニングされたニューラル回帰モデルの最後の層の重みを調整して、異なる分布に由来する入力データのパフォーマンスを向上させる方法を提案します。
この軽量のスペクトル適応手順が、合成データセットと現実世界のデータセットの分布外パフォーマンスをどのように改善できるかを示します。

要約(オリジナル)

Designing deep neural network classifiers that perform robustly on distributions differing from the available training data is an active area of machine learning research. However, out-of-distribution generalization for regression-the analogous problem for modeling continuous targets-remains relatively unexplored. To tackle this problem, we return to first principles and analyze how the closed-form solution for Ordinary Least Squares (OLS) regression is sensitive to covariate shift. We characterize the out-of-distribution risk of the OLS model in terms of the eigenspectrum decomposition of the source and target data. We then use this insight to propose a method for adapting the weights of the last layer of a pre-trained neural regression model to perform better on input data originating from a different distribution. We demonstrate how this lightweight spectral adaptation procedure can improve out-of-distribution performance for synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google