SLACK: Stable Learning of Augmentations with Cold-start and KL regularization

要約

データ拡張は、変換セットが慎重に選択され、多くの場合手動で選択される場合に限り、ニューラル ネットワークの一般化機能を向上させることが知られています。
自動データ拡張は、このプロセスを自動化することを目的としています。
ただし、最新のアプローチは依然としていくつかの事前情報に依存しています。
これらは、ネットワークの事前トレーニングに使用されるか、自動データ拡張アルゴリズムによって学習されたポリシーの一部として強制的に使用される、手動で選択されたデフォルトの変換の小さなプールから始まります。
この論文では、そのような事前知識を活用せずに、拡張ポリシーを直接学習することを提案します。
結果として生じる 2 レベルの最適化問題は、より大きな探索空間と 2 レベルの最適化アルゴリズムに固有の不安定性により、さらに困難になります。
これらの問題を軽減するために、(i) カルバック・ライブラー正則化による連続コールド スタート戦略に従い、(ii) 大きさを連続分布としてパラメータ化します。
私たちのアプローチは、より困難な設定にもかかわらず、標準ベンチマークで競争力のある結果をもたらし、自然な画像を超えて一般化します。

要約(オリジナル)

Data augmentation is known to improve the generalization capabilities of neural networks, provided that the set of transformations is chosen with care, a selection often performed manually. Automatic data augmentation aims at automating this process. However, most recent approaches still rely on some prior information; they start from a small pool of manually-selected default transformations that are either used to pretrain the network or forced to be part of the policy learned by the automatic data augmentation algorithm. In this paper, we propose to directly learn the augmentation policy without leveraging such prior knowledge. The resulting bilevel optimization problem becomes more challenging due to the larger search space and the inherent instability of bilevel optimization algorithms. To mitigate these issues (i) we follow a successive cold-start strategy with a Kullback-Leibler regularization, and (ii) we parameterize magnitudes as continuous distributions. Our approach leads to competitive results on standard benchmarks despite a more challenging setting, and generalizes beyond natural images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google