An Information-theoretic Multi-task Representation Learning Framework for Natural Language Understanding

要約

このペーパーでは、すべてのタスクに対してノイズ不変の表現を抽出するための新しい原則的なマルチタスク表現学習フレームワーク（infOMTL）を提案します。
すべてのタスクの共有表現の十分性を保証し、冗長機能のマイナス効果を軽減します。これにより、マルチタスクパラダイムの下での事前訓練を受けた言語モデル（PLM）の言語理解を高めることができます。
第一に、すべてのターゲットタスクに対して十分な共有表現を学習するために、共有情報の最大化の原則が提案されています。
マルチタスクパラダイムの表現圧縮から生じる不足の問題を回避できます。
第二に、タスク固有の情報最小化原則は、各タスクの入力における潜在的な冗長機能の負の効果を軽減するように設計されています。
タスクに関係のある冗長な情報を圧縮し、マルチタスク予測のターゲットに関連する必要な情報を保持できます。
6つの分類ベンチマークでの実験では、特にデータが制約されたノイズの多いシナリオで、同じマルチタスク設定の下で12の比較マルチタスクメソッドを上回る方法が示されています。
広範な実験は、学習した表現がより十分で、データ効率が高く、堅牢であることを示しています。

要約(オリジナル)

This paper proposes a new principled multi-task representation learning framework (InfoMTL) to extract noise-invariant sufficient representations for all tasks. It ensures sufficiency of shared representations for all tasks and mitigates the negative effect of redundant features, which can enhance language understanding of pre-trained language models (PLMs) under the multi-task paradigm. Firstly, a shared information maximization principle is proposed to learn more sufficient shared representations for all target tasks. It can avoid the insufficiency issue arising from representation compression in the multi-task paradigm. Secondly, a task-specific information minimization principle is designed to mitigate the negative effect of potential redundant features in the input for each task. It can compress task-irrelevant redundant information and preserve necessary information relevant to the target for multi-task prediction. Experiments on six classification benchmarks show that our method outperforms 12 comparative multi-task methods under the same multi-task settings, especially in data-constrained and noisy scenarios. Extensive experiments demonstrate that the learned representations are more sufficient, data-efficient, and robust.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google