MAT: Mixed-Strategy Game of Adversarial Training in Fine-tuning

要約

大規模な事前トレーニング済み言語モデルの微調整は、さまざまな自然言語処理 (NLP) タスクに効果的であることが実証されています。
これまでの研究では、微調整段階で敵対的トレーニングを組み込むと、モデルの一般化と堅牢性が大幅に向上することが証明されています。
しかし、ゲーム理論の観点から見ると、このような敵対的トレーニングの利用は純粋な戦略ゲームに相当し、本質的に戦略の範囲が限られているため、まだ改善の余地があります。
パフォーマンスの限界を押し上げるために、私たちは新しい混合戦略敵対的トレーニング アルゴリズム (MAT) を提案します。
方法論的には、エントロピー ミラー降下法を使用して敵対的トレーニング用の混合戦略ゲームのナッシュ均衡を導出し、サンプリング法によって MAT を確立します。
MAT の有効性を検証するために、BERT や RoBERTa などの大規模な事前トレーニング済みモデルで広範なベンチマーク実験を実施しました。
MAT は、汎用性と堅牢性の点で、GLUE ベンチマークと ANLI ベンチマークの両方で最先端の手法を大幅に上回っています。

要約(オリジナル)

Fine-tuning large-scale pre-trained language models has been demonstrated effective for various natural language processing (NLP) tasks. Previous studies have established that incorporating adversarial training during the fine-tuning stage can significantly enhance model generalization and robustness. However, from the perspective of game theory, such utilizations of adversarial training correspond to pure-strategy games, which are inherently limited in terms of the scope of their strategies, thereby still having room for improvement. In order to push the performance boundaries, we propose a novel Mixed-strategy Adversarial Training algorithm (MAT). Methodologically, we derive the Nash equilibrium of a mixed-strategy game for adversarial training using Entropy Mirror Descent to establish MAT by sampling method. To verify the effectiveness of MAT, we conducted extensive benchmark experiments on large-scale pre-trained models, such as BERT and RoBERTa. MAT significantly outperforms the state-of-the-art methods on both the GLUE and ANLI benchmarks in terms of generalization and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google