Robustness through Data Augmentation Loss Consistency

要約

経験的リスク最小化 (ERM) によるディープ ラーニングは、さまざまな複雑なタスクで人間レベルのパフォーマンスを達成することに成功していますが、ERM は分散シフトや敵対的攻撃に対して堅牢ではありません。
経験的リスク最小化 (DA-ERM) に続く合成データ拡張は、ERM の堅牢性を向上させるために広く使用されているシンプルなソリューションです。
さらに、一貫性の正則化を適用して、元のサンプルと拡張されたサンプルの表現を強制的に類似させることにより、モデルのロバスト性をさらに向上させることができます。
ただし、既存の一貫性の正則化方法は、共変データ拡張には適用できません。この場合、拡張サンプルのラベルは拡張関数に依存します。
たとえば、新しい名前付きエンティティでデータを拡張すると、ダイアログの状態は名前付きエンティティと共変します。
この論文では、データ拡張損失不変正則化（DAIR）を提案します。これは、中間機能ではなく損失レベルで直接適用される一貫性の正則化の単純な形式であり、ネットワークアーキテクチャに関係なく、不変および共変の両方のデータ拡張に広く適用できます。
問題の設定、およびタスク。
共変データ拡張を含む現実世界の学習問題に DAIR を適用します。堅牢なニューラル タスク指向の対話状態追跡と堅牢な視覚的質問応答です。
また、DAIR を不変データ拡張を含むタスクに適用します。つまり、ロバストな回帰、敵対的攻撃に対するロバストな分類、および分布シフト下でのロバストな ImageNet 分類です。
私たちの実験では、DAIR が一貫して ERM および DA-ERM よりもわずかな計算コストで優れており、共変データ拡張を含むいくつかのベンチマークで新しい最先端の結果を設定していることを示しています。
すべての実験のコードは、https://github.com/optimization-for-data-driven-science/DAIR.git で入手できます。

要約(オリジナル)

While deep learning through empirical risk minimization (ERM) has succeeded at achieving human-level performance at a variety of complex tasks, ERM is not robust to distribution shifts or adversarial attacks. Synthetic data augmentation followed by empirical risk minimization (DA-ERM) is a simple and widely used solution to improve robustness in ERM. In addition, consistency regularization can be applied to further improve the robustness of the model by forcing the representation of the original sample and the augmented one to be similar. However, existing consistency regularization methods are not applicable to covariant data augmentation, where the label in the augmented sample is dependent on the augmentation function. For example, dialog state covaries with named entity when we augment data with a new named entity. In this paper, we propose data augmented loss invariant regularization (DAIR), a simple form of consistency regularization that is applied directly at the loss level rather than intermediate features, making it widely applicable to both invariant and covariant data augmentation regardless of network architecture, problem setup, and task. We apply DAIR to real-world learning problems involving covariant data augmentation: robust neural task-oriented dialog state tracking and robust visual question answering. We also apply DAIR to tasks involving invariant data augmentation: robust regression, robust classification against adversarial attacks, and robust ImageNet classification under distribution shift. Our experiments show that DAIR consistently outperforms ERM and DA-ERM with little marginal computational cost and sets new state-of-the-art results in several benchmarks involving covariant data augmentation. Our code of all experiments is available at: https://github.com/optimization-for-data-driven-science/DAIR.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google