Test-Time Adaptation with Perturbation Consistency Learning

要約

タイトル: 妨害一貫性学習によるテスト時適応
要約:
-現在、事前学習された言語モデル（PLMs）は、分布シフト問題に対処できず、トレーニングセットで訓練されたモデルは実際のテストシナリオで失敗することが多い。
-この問題を解決するため、テスト時適応（TTA）は、テスト時にモデルパラメータを更新してテストデータに合わせる可能性がある。
-しかし、TTA法は、よく設計された補助タスクまたは疑似ラベルに基づく自己トレーニング戦略に依存しており、パフォーマンス向上とコンピュータコストのトレードオフが良くない。
-安定した予測が、高いバランスを実現する鍵であることがわかっている。
-この論文では、これらのジレンマについて洞察を得るために、2つの代表的なTTAメソッド、つまりTentとOIL、を探索し、妨害一貫性学習（PCL）を提案している。
-この方法は、分布シフトを持つサンプルに対してモデルが安定した予測をするように促進するものである。
-敵対的な強さやクロスリンガル転送に関する広範な実験結果は、当社の手法が強力なPLMバックボーンや以前の最新のTTAメソッドに比べて、高いまたは同等のパフォーマンスを少ない推論時間で達成できることを示している。

要約(オリジナル)

Currently, pre-trained language models (PLMs) do not cope well with the distribution shift problem, resulting in models trained on the training set failing in real test scenarios. To address this problem, the test-time adaptation (TTA) shows great potential, which updates model parameters to suit the test data at the testing time. Existing TTA methods rely on well-designed auxiliary tasks or self-training strategies based on pseudo-label. However, these methods do not achieve good trade-offs regarding performance gains and computational costs. To obtain some insights into such a dilemma, we take two representative TTA methods, i.e., Tent and OIL, for exploration and find that stable prediction is the key to achieving a good balance. Accordingly, in this paper, we propose perturbation consistency learning (PCL), a simple test-time adaptation method to promote the model to make stable predictions for samples with distribution shifts. Extensive experiments on adversarial robustness and cross-lingual transferring demonstrate that our method can achieve higher or comparable performance with less inference time over strong PLM backbones and previous state-of-the-art TTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI