Adaptive Estimation and Learning under Temporal Distribution Shift

要約

この論文では、一時的な分布シフトの下での推定と学習の問題を研究します。
長さ$ n $の観測シーケンスを考えてみましょう。
私たちの焦点は、最終的なタイムステップでグラウンドトゥルースを推定する方法を開発しながら、鋭い点で推定されるエラー率を提供することです。
時間的シフトのレベルに関する事前知識がなければ、ウェーブレットソフトホールディング推定器は、グラウンドトースに最適な推定誤差を提供することを示します。
提案された推定方法は、シーケンスの非定常レベルとウェーブレット変換されたドメインのスパース性との関係を確立することにより、既存の研究をMazzettoとUpfal（2023）に一般化します。
理論的な調査結果は、数値実験によって検証されています。
さらに、推定器を適用して、分布シフトの下でのバイナリ分類のスパースアウェア過剰リスク境界を導き出し、計算効率の良いトレーニング目標を開発しました。
最終的な貢献として、私たちは結果と、そのようなタスクの新しい最適アルゴリズムを発見し、完全な変動除去の古典的な信号処理の問題（Mammen and Van de Geer、1997; Tibshirani、2014）との類似点を引き出します。

要約(オリジナル)

In this paper, we study the problem of estimation and learning under temporal distribution shift. Consider an observation sequence of length $n$, which is a noisy realization of a time-varying groundtruth sequence. Our focus is to develop methods to estimate the groundtruth at the final time-step while providing sharp point-wise estimation error rates. We show that, without prior knowledge on the level of temporal shift, a wavelet soft-thresholding estimator provides an optimal estimation error bound for the groundtruth. Our proposed estimation method generalizes existing researches Mazzetto and Upfal (2023) by establishing a connection between the sequence’s non-stationarity level and the sparsity in the wavelet-transformed domain. Our theoretical findings are validated by numerical experiments. Additionally, we applied the estimator to derive sparsity-aware excess risk bounds for binary classification under distribution shift and to develop computationally efficient training objectives. As a final contribution, we draw parallels between our results and the classical signal processing problem of total-variation denoising (Mammen and van de Geer,1997; Tibshirani, 2014), uncovering novel optimal algorithms for such task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google