Generalizing similarity in noisy setups: the DIBS phenomenon

要約

この研究は、類似性学習におけるデータ密度、ノイズ、一般化能力の間の相互作用を明らかにします。
対照学習の基本形式であるシャム ニューラル ネットワーク (SNN) を考慮し、SNN に影響を与える可能性がある 2 種類のノイズ、ペア ラベル ノイズ (PLN) とシングル ラベル ノイズ (SLN) を調査します。
私たちの調査により、SNN はトレーニング設定に関係なく二重降下動作を示し、ノイズによってさらに悪化することが明らかになりました。
一般化にはデータペアの密度が重要であることを示します。
SNN が同じ量の PLN または SLN を含む疎なデータセットでトレーニングされると、同等の一般化特性を示します。
ただし、高密度のデータセットを使用すると、過度にパラメータ化された領域で PLN ケースの一般化が SLN ケースよりも悪化し、密度誘起類似性破壊 (DIBS) と呼ばれる現象が発生します。
この状況では、PLN 類似性違反が巨視的となり、モデル パラメーターの数に関係なく、完全な内挿が達成できない点までデータセットが破損します。
私たちの分析では、類似性学習におけるオンラインの最適化とオフラインの一般化の間の対応関係も掘り下げています。
結果は、考慮したすべてのシナリオでラベル ノイズが存在すると、この等価性が成り立たないことを示しています。

要約(オリジナル)

This work uncovers an interplay among data density, noise, and the generalization ability in similarity learning. We consider Siamese Neural Networks (SNNs), which are the basic form of contrastive learning, and explore two types of noise that can impact SNNs, Pair Label Noise (PLN) and Single Label Noise (SLN). Our investigation reveals that SNNs exhibit double descent behaviour regardless of the training setup and that it is further exacerbated by noise. We demonstrate that the density of data pairs is crucial for generalization. When SNNs are trained on sparse datasets with the same amount of PLN or SLN, they exhibit comparable generalization properties. However, when using dense datasets, PLN cases generalize worse than SLN ones in the overparametrized region, leading to a phenomenon we call Density-Induced Break of Similarity (DIBS). In this regime, PLN similarity violation becomes macroscopical, corrupting the dataset to the point where complete interpolation cannot be achieved, regardless of the number of model parameters. Our analysis also delves into the correspondence between online optimization and offline generalization in similarity learning. The results show that this equivalence fails in the presence of label noise in all the scenarios considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google