Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off

要約

データ サイエンスにおける中心的な問題は、未知の関数の潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することです。
古典的な統計学では、予測誤差は、モデルの単純さと複雑な関数に適合する能力のバランスをとる、バイアスと分散の間のトレードオフとして理解されます。
ただし、過度にパラメータ化されたモデルは、複雑さが増大するモデルが汎化誤差の減少を示す「二重降下」など、直感に反する動作を示します。
一般化エイリアシング分解と呼ばれる代替パラダイムを導入します。
複雑なモデルの漸近的に小さな誤差は、過剰パラメータ化領​​域で発生する体系的な「デエイリアシング」として説明されます。
大規模なモデルの限界では、エイリアシングによる寄与が消失し、少数のトレーニング ポイントにおける非常に大規模なモデルの可逆性の失敗と呼ばれる漸近的な合計誤差の式が残ります。
一般化エイリアシング分解は、データ ラベルを見ることなくモデル クラスとサンプルの関係から明示的に計算できるため、データを収集したり実験を実行したりする前に、実験計画やモデルの選択に関連する質問に答えることができます。
古典的な回帰問題や材料科学で使用されるクラスター展開モデルなど、いくつかの例を使用してこのアプローチを示します。

要約(オリジナル)

A central problem in data science is to use potentially noisy samples of an unknown function to predict function values for unseen inputs. In classical statistics, the predictive error is understood as a trade-off between the bias and the variance that balances model simplicity with its ability to fit complex functions. However, over-parameterized models exhibit counter-intuitive behaviors, such as ‘double descent’ in which models of increasing complexity exhibit decreasing generalization error. We introduce an alternative paradigm called the generalized aliasing decomposition. We explain the asymptotically small error of complex models as a systematic ‘de-aliasing’ that occurs in the over-parameterized regime. In the limit of large models, the contribution due to aliasing vanishes, leaving an expression for the asymptotic total error we call the invertibility failure of very large models on few training points. Because the generalized aliasing decomposition can be explicitly calculated from the relationship between model class and samples without seeing any data labels, it can answer questions related to experimental design and model selection before collecting data or performing experiments. We demonstrate this approach using several examples, including classical regression problems and a cluster expansion model used in materials science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google