Model Assessment and Selection under Temporal Distribution Shift

要約

現在の期間と過去の時代の両方からのデータセットを合成することにより、変化する環境におけるモデルの評価と選択を調査します。
未知の潜在的に任意の時間分布シフトに取り組むために、与えられたモデルの汎化誤差を推定する適応ローリング ウィンドウ アプローチを開発します。
この戦略では、汎化誤差の差を推定することにより、任意の 2 つの候補モデル間の比較も容易になります。
さらに、ペアごとの比較をシングルエリミネーション トーナメントに統合し、候補のコレクションから最適に近いモデルを選択します。
理論解析と数値実験により、提案した手法がデータの非定常性に適応できることが実証されています。

要約(オリジナル)

We investigate model assessment and selection in a changing environment, by synthesizing datasets from both the current time period and historical epochs. To tackle unknown and potentially arbitrary temporal distribution shift, we develop an adaptive rolling window approach to estimate the generalization error of a given model. This strategy also facilitates the comparison between any two candidate models by estimating the difference of their generalization errors. We further integrate pairwise comparisons into a single-elimination tournament, achieving near-optimal model selection from a collection of candidates. Theoretical analyses and numerical experiments demonstrate the adaptivity of our proposed methods to the non-stationarity in data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google