The Memory Perturbation Equation: Understanding Model’s Sensitivity to Data

要約

トレーニング データに対するモデルの感度を理解することは非常に重要ですが、特にトレーニング中は困難でコストがかかる可能性もあります。
このような問題を単純化するために、トレーニング データの摂動に対するモデルの感度を関連付けるメモリ摂動方程式 (MPE) を提示します。
ベイズ原理を使用して導出された MPE は、既存の感度測定を統合し、それらをさまざまなモデルやアルゴリズムに一般化して、感度に関する有用な特性を解明します。
私たちの経験的結果は、トレーニング中に得られた感度推定値を使用して、目に見えないテスト データの一般化を忠実に予測できることを示しています。
提案された方程式は、ロバストで適応的な学習に関する将来の研究に役立つことが期待されます。

要約(オリジナル)

Understanding model’s sensitivity to its training data is crucial but can also be challenging and costly, especially during training. To simplify such issues, we present the Memory-Perturbation Equation (MPE) which relates model’s sensitivity to perturbation in its training data. Derived using Bayesian principles, the MPE unifies existing sensitivity measures, generalizes them to a wide-variety of models and algorithms, and unravels useful properties regarding sensitivities. Our empirical results show that sensitivity estimates obtained during training can be used to faithfully predict generalization on unseen test data. The proposed equation is expected to be useful for future research on robust and adaptive learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google