How Much Data Are Augmentations Worth? An Investigation into Scaling Laws, Invariance, and Implicit Regularization

要約

タイトル：データ拡張による性能向上の背後にあるメカニズムの解明：スケーリング則、不変性、および暗黙の正則化に関する研究

要約：データ拡張の性能向上効果は明らかですが、その背後にあるメカニズムはほとんど知られていません。本論文では、データ拡張がどのようなメカニズムを通じて効果的であるかを解明します。拡張されたデータと追加の実データの交換レートを確立し、分布から外れたテストシナリオで、分散したがデータ分布と矛盾するサンプルを生成するデータ拡張が、追加のトレーニングデータよりも価値があることがわかりました。さらに、不変性を促進するデータ拡張は、不変性単独よりも、特に小規模なトレーニングセットではより価値があることがわかりました。この観察に従い、本研究では、データ拡張がトレーニング中に追加のステキャスティシティを生じさせ、損失のランドスケープを平らにすることを示しました。

要点：

– データ拡張がデータ分布と矛盾するサンプルを生成する場合でも、分布外のテストシナリオでより有効であることが示された。
– 不変性を促進するデータ拡張は、小規模なトレーニングセットでは特に有効である。
– データ拡張により、トレーニング中に追加のステキャスティシティが生じ、損失のランドスケープが平らになることが示された。

要約(オリジナル)

Despite the clear performance benefits of data augmentations, little is known about why they are so effective. In this paper, we disentangle several key mechanisms through which data augmentations operate. Establishing an exchange rate between augmented and additional real data, we find that in out-of-distribution testing scenarios, augmentations which yield samples that are diverse, but inconsistent with the data distribution can be even more valuable than additional training data. Moreover, we find that data augmentations which encourage invariances can be more valuable than invariance alone, especially on small and medium sized training sets. Following this observation, we show that augmentations induce additional stochasticity during training, effectively flattening the loss landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI