Universal Adaptive Data Augmentation

要約

タイトル：Universal Adaptive Data Augmentation

要約：
– 先行研究の自動データ拡張（DA）手法は、トレーニング中にDAのパラメータを目標モデルの状態に応じて更新しないか、十分な効果がない更新戦略を採用している。
– 本論文では、「Universal Adaptive Data Augmentation（UADA）」という新しいデータ拡張戦略を設計した。UADAは、トレーニング中のターゲットモデルの勾配情報に基づいて、DAのパラメータを自動的に更新する。あらかじめ定義されたDA操作セットが与えられた場合、UADAはトレーニング中のすべてのデータバッチについてDA操作の種類と大きさをランダムに決定し、ロスに関するDAのパラメータの勾配方向に従ってDAのパラメータを適応的に更新することができる。
– この方法により、UADAはターゲットネットワークのトレーニングロスを増加させ、より困難なサンプルから特徴を学び、一般化を改善することができる。さらに、UADAは非常に一般的であり、画像分類、セマンティックセグメンテーション、オブジェクト検出など、多くのタスクで利用できる。
– CIFAR-10、CIFAR-100、ImageNet、tiny-ImageNet、Cityscapes、およびVOC07+12でさまざまなモデルを用いた詳細な実験により、UADAによってもたらされる性能向上を証明した。

要約(オリジナル)

Existing automatic data augmentation (DA) methods either ignore updating DA’s parameters according to the target model’s state during training or adopt update strategies that are not effective enough. In this work, we design a novel data augmentation strategy called ‘Universal Adaptive Data Augmentation’ (UADA). Different from existing methods, UADA would adaptively update DA’s parameters according to the target model’s gradient information during training: given a pre-defined set of DA operations, we randomly decide types and magnitudes of DA operations for every data batch during training, and adaptively update DA’s parameters along the gradient direction of the loss concerning DA’s parameters. In this way, UADA can increase the training loss of the target networks, and the target networks would learn features from harder samples to improve the generalization. Moreover, UADA is very general and can be utilized in numerous tasks, e.g., image classification, semantic segmentation and object detection. Extensive experiments with various models are conducted on CIFAR-10, CIFAR-100, ImageNet, tiny-ImageNet, Cityscapes, and VOC07+12 to prove the significant performance improvements brought by UADA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI