LA3: Efficient Label-Aware AutoAugment

要約

タイトル：LA3：効率的なラベル意識型AutoAugment

要約：

– Automated augmentationは、深層ニューラルネットワークのトレーニングの一般化能力を向上させるためのデータ拡張方針を検索するための新興かつ効果的な技術である。
– 既存の多くの研究は、同定されたデータセット内のすべてのデータサンプルに適用可能な統一されたポリシーの構築に焦点を当てており、サンプルまたはクラスの変化を考慮していない。
– 本論文では、ラベル情報を利用し、それぞれ異なるラベルのサンプルに対して個別の拡張ポリシーを学習する新しい2段階のデータ拡張アルゴリズム（LA3）を提案する。
– LA3は2つの学習段階から構成され、第1段階では、Bayesian Optimizationによるニューラル予測子の支援を受け、各ラベルの個別の拡張方法が評価され、順位付けされる。これにより、低コストで各ラベルに対して効果的な拡張技術を同定することができる。
– 第2段階では、効果的かつ補完的な拡張の選択から構成される合成拡張ポリシーが構築され、著しい性能向上が実現され、典型的なモデルトレーニングに簡単に展開できる。
– 大規模な実験により、LA3はCIFAR-10およびCIFAR-100において、既存の方法に匹敵またはそれを上回る優れた性能を発揮し、ResNet-50におけるImageNetの新たな自動拡張手法の最高精度79.97％を達成した。そして、低い計算コストを維持している。

要約(オリジナル)

Automated augmentation is an emerging and effective technique to search for data augmentation policies to improve generalizability of deep neural network training. Most existing work focuses on constructing a unified policy applicable to all data samples in a given dataset, without considering sample or class variations. In this paper, we propose a novel two-stage data augmentation algorithm, named Label-Aware AutoAugment (LA3), which takes advantage of the label information, and learns augmentation policies separately for samples of different labels. LA3 consists of two learning stages, where in the first stage, individual augmentation methods are evaluated and ranked for each label via Bayesian Optimization aided by a neural predictor, which allows us to identify effective augmentation techniques for each label under a low search cost. And in the second stage, a composite augmentation policy is constructed out of a selection of effective as well as complementary augmentations, which produces significant performance boost and can be easily deployed in typical model training. Extensive experiments demonstrate that LA3 achieves excellent performance matching or surpassing existing methods on CIFAR-10 and CIFAR-100, and achieves a new state-of-the-art ImageNet accuracy of 79.97% on ResNet-50 among auto-augmentation methods, while maintaining a low computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI