Deep Augmentation: Self-Supervised Learning with Transformations in Activation Space

要約

ドロップアウトまたは PCA を使用してニューラル ネットワーク内のターゲット層を変換し、パフォーマンスと汎化を向上させる暗黙的なデータ拡張のアプローチである Deep Augmentation を紹介します。
NLP、コンピューター ビジョン、グラフ学習における対照学習タスクに関する広範な実験を通じて、深層拡張を実証します。
Transformer、ResNets、およびグラフ ニューラル ネットワークを対照学習の基礎となるモデルとして使用すると、大幅なパフォーマンスの向上が観察されますが、対応する教師付き問題に対する逆効果が観察されます。
私たちの分析は、ディープオーグメンテーションが層間の同時適応を軽減することを示唆しています。これは、グラウンドトゥルースラベルが利用できない自己教師あり学習によって示される問題です。
私たちはこの観察を利用して、どの層をターゲットにするかを選択する方法を定式化します。
特に、私たちの実験では、Deep Augmentation でより深い層をターゲットにした方が、入力データを拡張するよりも優れたパフォーマンスを発揮することが明らかになりました。
このアプローチはネットワークやモダリティに依存しないシンプルな性質により、さまざまな機械学習パイプラインへの統合が可能になります。

要約(オリジナル)

We introduce Deep Augmentation, an approach to implicit data augmentation using dropout or PCA to transform a targeted layer within a neural network to improve performance and generalization. We demonstrate Deep Augmentation through extensive experiments on contrastive learning tasks in NLP, computer vision, and graph learning. We observe substantial performance gains with Transformers, ResNets, and Graph Neural Networks as the underlying models in contrastive learning, but observe inverse effects on the corresponding supervised problems. Our analysis suggests that Deep Augmentation alleviates co-adaptation between layers, a problem exhibited by self-supervised learning where ground truth labels are not available. We use this observation to formulate a method for selecting which layer to target; in particular, our experimentation reveals that targeting deeper layers with Deep Augmentation outperforms augmenting the input data. The simple network- and modality-agnostic nature of this approach enables its integration into various machine learning pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google