RangeAugment: Efficient Online Augmentation with Range Learning

要約

視覚認識タスク用の最先端の自動拡張メソッド (AutoAugment や RandAugment など) は、拡張操作の大規模なセットを使用してトレーニング データを多様化します。
多くの拡張演算 (明るさやコントラストなど) の大きさの範囲は連続しています。
したがって、検索を計算的に扱いやすくするために、これらの方法では、操作ごとに手動で定義された固定のマグニチュード範囲が使用されます。
各拡張操作のマグニチュード範囲の重要性に関する未解決の質問に答えるために、RangeAugment を導入します。これにより、個々の拡張操作と複合増強操作のマグニチュードの範囲を効率的に学習できます。
RangeAugment は、拡張操作の大きさの範囲を制御するための尺度として、画像の類似性に基づく補助損失を使用します。
その結果、RangeAugment には、検索用の単一のスカラー パラメーターである画像の類似性があり、これは線形検索によって単純に最適化されます。
RangeAugment は、あらゆるモデルとシームレスに統合し、モデルおよびタスク固有の拡張ポリシーを学習します。
さまざまなネットワークにわたる ImageNet データセットの広範な実験により、RangeAugment が最先端の自動拡張メソッドに匹敵するパフォーマンスを、4 ～ 5 分の 1 の拡張操作で実現することを示しています。
セマンティック セグメンテーション、オブジェクト検出、基礎モデル、および知識の蒸留に関する実験結果は、RangeAugment の有効性をさらに示しています。

要約(オリジナル)

State-of-the-art automatic augmentation methods (e.g., AutoAugment and RandAugment) for visual recognition tasks diversify training data using a large set of augmentation operations. The range of magnitudes of many augmentation operations (e.g., brightness and contrast) is continuous. Therefore, to make search computationally tractable, these methods use fixed and manually-defined magnitude ranges for each operation, which may lead to sub-optimal policies. To answer the open question on the importance of magnitude ranges for each augmentation operation, we introduce RangeAugment that allows us to efficiently learn the range of magnitudes for individual as well as composite augmentation operations. RangeAugment uses an auxiliary loss based on image similarity as a measure to control the range of magnitudes of augmentation operations. As a result, RangeAugment has a single scalar parameter for search, image similarity, which we simply optimize via linear search. RangeAugment integrates seamlessly with any model and learns model- and task-specific augmentation policies. With extensive experiments on the ImageNet dataset across different networks, we show that RangeAugment achieves competitive performance to state-of-the-art automatic augmentation methods with 4-5 times fewer augmentation operations. Experimental results on semantic segmentation, object detection, foundation models, and knowledge distillation further shows RangeAugment’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google