Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies

要約

二重降下現象は、教師あり学習において最近注目を集めています。
これは、驚くべき動作を示すことで、バイアスと分散のトレードオフに関する従来の常識に挑戦します。
モデルの複雑さが増加するにつれて、最初はテスト誤差が減少し、ある点に達するとモデルがトレイン セットに過剰適合し始め、テスト誤差が増加します。
ただし、古典的な理論から逸脱すると、ある程度の過剰パラメータ化を超えると、誤差はさらに低下します。
私たちは教師なし学習における二重降下の存在を研究していますが、この領域はあまり注目されておらず、まだ完全には理解されていません。
私たちは、ノイズの多いデータ、ドメインのシフト、異常の処理など、さまざまなアプリケーションに対して不完全なオートエンコーダー (AE) を使用して広範な実験を行っています。
私たちは合成データと実際のデータを使用し、前述のすべてのアプリケーションについて、モデルごと、エポックごと、およびサンプルごとの二重降下法を特定します。
最後に、異常を検出し、データセット間のドメインのシフトを軽減するための AE の有用性を評価しました。
私たちの調査結果は、過剰にパラメータ化されたモデルが再構成の観点からだけでなく、下流のタスクの機能を強化する観点からもパフォーマンスを向上できることを示しています。

要約(オリジナル)

The phenomenon of double descent has recently gained attention in supervised learning. It challenges the conventional wisdom of the bias-variance trade-off by showcasing a surprising behavior. As the complexity of the model increases, the test error initially decreases until reaching a certain point where the model starts to overfit the train set, causing the test error to rise. However, deviating from classical theory, the error exhibits another decline when exceeding a certain degree of over-parameterization. We study the presence of double descent in unsupervised learning, an area that has received little attention and is not yet fully understood. We conduct extensive experiments using under-complete auto-encoders (AEs) for various applications, such as dealing with noisy data, domain shifts, and anomalies. We use synthetic and real data and identify model-wise, epoch-wise, and sample-wise double descent for all the aforementioned applications. Finally, we assessed the usability of the AEs for detecting anomalies and mitigating the domain shift between datasets. Our findings indicate that over-parameterized models can improve performance not only in terms of reconstruction, but also in enhancing capabilities for the downstream task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google