A Simple Data Mixing Prior for Improving Self-Supervised Learning

要約

データミキシング（Mixup、Cutmix、ResizeMixなど）は、認識モデルを進歩させるために不可欠なコンポーネントです。
この論文では、自己監視環境でのその有効性の研究に焦点を当てています。
同じソース画像を共有する混合画像が本質的に相互に関連していることに気付くことにより、ここにSDMPを提案します。これは$ \ textbf {S} $ imple $ \ textbf {D} $ ata $ \ textbf {M} $ ixing $
\ textbf {P} $ rior、この単純でありながら不可欠な事前情報をキャプチャし、そのような混合画像を追加の$ \ textbf{ポジティブペア}$として配置して、自己監視表現学習を容易にします。
私たちの実験は、提案されたSDMPがデータミキシングを可能にし、一連の自己監視学習フレームワーク（MoCoなど）がより高い精度と配布外の堅牢性を実現するのに役立つことを確認します。
さらに注目すべきことに、私たちのSDMPは、データミキシングをうまく活用して、自己監視設定でVision Transformersのパフォーマンスを（損なうのではなく）改善する最初の方法です。
コードはhttps://github.com/OliverRensu/SDMPで公開されています

要約(オリジナル)

Data mixing (e.g., Mixup, Cutmix, ResizeMix) is an essential component for advancing recognition models. In this paper, we focus on studying its effectiveness in the self-supervised setting. By noticing the mixed images that share the same source images are intrinsically related to each other, we hereby propose SDMP, short for $\textbf{S}$imple $\textbf{D}$ata $\textbf{M}$ixing $\textbf{P}$rior, to capture this straightforward yet essential prior, and position such mixed images as additional $\textbf{positive pairs}$ to facilitate self-supervised representation learning. Our experiments verify that the proposed SDMP enables data mixing to help a set of self-supervised learning frameworks (e.g., MoCo) achieve better accuracy and out-of-distribution robustness. More notably, our SDMP is the first method that successfully leverages data mixing to improve (rather than hurt) the performance of Vision Transformers in the self-supervised setting. Code is publicly available at https://github.com/OliverRensu/SDMP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google