Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space

要約

二重降下は機械学習の領域内で直観に反する側面を示しており、研究者はさまざまなモデルやタスクでその現れを観察しています。
特定の状況におけるこの現象についてはいくつかの理論的説明が提案されていますが、深層学習でのこの現象の発生を説明する受け​​入れられた理論はまだ確立されていません。
この研究では、二重降下現象を再検討し、その発生がノイズの多いデータの存在によって強く影響されることを実証します。
学習された表現の特徴空間の包括的な分析を行うことにより、ノイズの多いデータでトレーニングされた不完全なモデルで二重降下が発生することが明らかになりました。
二重降下は、モデルが最初に補間までノイズの多いデータを学習し、次にオーバーパラメータ化を介して暗黙的な正則化を追加して、ノイズから情報を分離する能力を獲得した結果であると主張します。
二重降下は十分に正規化されたモデルでは決して発生しないと仮定します。

要約(オリジナル)

Double descent presents a counter-intuitive aspect within the machine learning domain, and researchers have observed its manifestation in various models and tasks. While some theoretical explanations have been proposed for this phenomenon in specific contexts, an accepted theory to account for its occurrence in deep learning remains yet to be established. In this study, we revisit the phenomenon of double descent and demonstrate that its occurrence is strongly influenced by the presence of noisy data. Through conducting a comprehensive analysis of the feature space of learned representations, we unveil that double descent arises in imperfect models trained with noisy data. We argue that double descent is a consequence of the model first learning the noisy data until interpolation and then adding implicit regularization via over-parameterization acquiring therefore capability to separate the information from the noise. We postulate that double descent should never occur in well-regularized models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google