Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding

要約

自然言語理解のための最近のモデルは、一般にショートカットとして知られるデータセット内の単純なパターンを利用する傾向があります。
これらのショートカットは、ラベルとトレーニング データに存在する潜在的な特徴の間の偽の相関関係に依存します。
推論時、ショートカット依存モデルは、特に一部の潜在特徴がラベルと相関しなくなった場合、分布の変化の下で誤った予測を生成する可能性があります。
これを回避するために、以前の研究ではショートカットへの依存を排除​​するようにモデルをトレーニングしました。
この研究では、異なる方向性を探ります。つまり、各専門家が比較的異なる潜在的特徴を捉えていると仮定して、専門家の混合による予測を悲観的に集約することです。
実験結果は、エキスパートに対する事後制御により、ショートカットの分布シフトに対するモデルの堅牢性が大幅に向上することを示しています。
さらに、私たちのアプローチにはいくつかの実用的な利点があることを示します。
また、モデルを分析し、その仮定を裏付ける結果を提供します。

要約(オリジナル)

Recent models for natural language understanding are inclined to exploit simple patterns in datasets, commonly known as shortcuts. These shortcuts hinge on spurious correlations between labels and latent features existing in the training data. At inference time, shortcut-dependent models are likely to generate erroneous predictions under distribution shifts, particularly when some latent features are no longer correlated with the labels. To avoid this, previous studies have trained models to eliminate the reliance on shortcuts. In this study, we explore a different direction: pessimistically aggregating the predictions of a mixture-of-experts, assuming each expert captures relatively different latent features. The experimental results demonstrate that our post-hoc control over the experts significantly enhances the model’s robustness to the distribution shift in shortcuts. Besides, we show that our approach has some practical advantages. We also analyze our model and provide results to support the assumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google