CausalAPM: Generalizable Literal Disentanglement for NLU Debiasing

要約

タイトル：CausalAPM：NLUデバイアスのための汎用的な文字通りの分離　
要約：
– データセットのバイアスは、データセット固有の文字通りのヒューリスティックに過度に依存することによって、NLUモデルの一般化能力に対する有害な影響を受けています。
– 既存の作品は、トレーニングプロセスで問題のあるデータを下げ、バイアスを緩和する一方で、有効な特徴情報を省略することによって、データセットバイアスを排除することに焦点を当てています。
– この作品では、因果推論の観点からデータセットバイアスの原因を分析し、CausalAPMを提案しています。これは、特徴の粒度からバイアス問題を緩和する汎用的な文字通りの分離フレームワークです。
– 提案されたアプローチは、文字通りの情報と意味情報を独立した特徴サブスペースにプロジェクトし、次の予測で文字通りの情報の参加を制限します。
– MNLI、FEVER、QQPの3つのNLPベンチマークでの豊富な実験は、提案されたフレームワークがIDパフォーマンスを維持しながらOOD一般化パフォーマンスを大幅に改善することを示しています。

要約(オリジナル)

Dataset bias, i.e., the over-reliance on dataset-specific literal heuristics, is getting increasing attention for its detrimental effect on the generalization ability of NLU models. Existing works focus on eliminating dataset bias by down-weighting problematic data in the training process, which induce the omission of valid feature information while mitigating bias. In this work, We analyze the causes of dataset bias from the perspective of causal inference and propose CausalAPM, a generalizable literal disentangling framework to ameliorate the bias problem from feature granularity. The proposed approach projects literal and semantic information into independent feature subspaces, and constrains the involvement of literal information in subsequent predictions. Extensive experiments on three NLP benchmarks (MNLI, FEVER, and QQP) demonstrate that our proposed framework significantly improves the OOD generalization performance while maintaining ID performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI