Planckian Jitter: countering the color-crippling effects of color jitter on self-supervised training

要約

自己教師あり学習に関する最近の研究のいくつかは、同じ画像のさまざまな拡張を同じ特徴表現にマッピングすることによってトレーニングされています。
使用されるデータ拡張は、学習された特徴表現の品質にとって非常に重要です。
このホワイト ペーパーでは、従来データ拡張で使用されていた色のジッターが、学習した特徴表現の色特徴の品質にどのように悪影響を与えるかを分析します。
この問題に対処するために、私たちはより現実的な物理学に基づく色データ拡張を提案します。これはプランク ジッターと呼ばれます。
色情報に基づいて画像コンテンツを識別する能力。
実験では、そのような表現が現在使用されているカラー ジッター増強で学習した表現を補完するものであり、単純な連結が広範囲のダウンストリーム データセットで大幅なパフォーマンスの向上につながることが確認されています。
さらに、モデル ニューロンに対するさまざまなトレーニング方法の影響を文書化する色感度分析を提示し、学習した機能のパフォーマンスが光源の変動に関してロバストであることを示します。

要約(オリジナル)

Several recent works on self-supervised learning are trained by mapping different augmentations of the same image to the same feature representation. The data augmentations used are of crucial importance to the quality of learned feature representations. In this paper, we analyze how the color jitter traditionally used in data augmentation negatively impacts the quality of the color features in learned feature representations. To address this problem, we propose a more realistic, physics-based color data augmentation – which we call Planckian Jitter – that creates realistic variations in chromaticity and produces a model robust to illumination changes that can be commonly observed in real life, while maintaining the ability to discriminate image content based on color information. Experiments confirm that such a representation is complementary to the representations learned with the currently-used color jitter augmentation and that a simple concatenation leads to significant performance gains on a wide range of downstream datasets. In addition, we present a color sensitivity analysis that documents the impact of different training methods on model neurons and shows that the performance of the learned features is robust with respect to illuminant variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google