A Unified Causal View of Instruction Tuning

要約

混合タスクでの命令チューニングにより、自然言語処理 (NLP) のゼロショット機能が向上しました。
それにもかかわらず、既存の方法は、因果関係ではなく、命令形式のサンプルとターゲットラベルの間の相関関係を示す特徴を学習することがよくあります。
統計学では「偽の相関」と呼ばれるこのような相関は、新しいタスクでは大幅に変化し、学習された特徴による効果が誤解を招く可能性があります。
この目的を達成するために、データの単一の因果構造の下でさまざまな NLP タスクを統合するメタ構造因果モデル (メタ SCM) を開発します。
具体的には、メタ SCM は、ソース コンテキストのプロパティを表す複数の潜在的な要因を導入しますが、その一部のみが特定のタスクのターゲット ラベルに因果的に影響を与えます。
重要なアイデアは、タスクに必要な因果要因を学習し、それらを特定のタスクの予測にのみ使用することです。
理論的には、他者からの情報を混ぜることなく原因要因を特定できることが証明されています。
識別可能性に基づいて、各タスクの因果要因を模倣できるタスクに必要な因果表現を学習する構造命令チューニング (SIT) 手法を提案します。
私たちのアプローチの有用性は、さまざまな未知のデータセットおよびタスクに対するゼロショット能力の向上によって検証されます。

要約(オリジナル)

Instruction tuning on a mixture of tasks has improved zero-shot capabilities in natural language processing (NLP). Nevertheless, existing methods often learn features that exhibit correlations between instruction-formatted samples and target labels, rather than causal relationships. Termed as “spurious correlation” in statistics, such a correlation may change drastically in a new task, making the effect from the learned features to be misleading. To this end, we develop a meta Structural Causal Model (meta-SCM) to integrate different NLP tasks under a single causal structure of the data. Specifically, the meta-SCM introduces multiple latent factors that represent properties of source context, only some of which causally influence the target labels for a specific task. The key idea is to learn task-required causal factors and only use those to make predictions for a given task. Theoretically, we prove the causal factor can be identified without mixing information from others. Guided by the identifiability, we propose a Structural Instruction Tuning (SIT) method to learn the task-required causal representations that can mimic the causal factors for each task. The utility of our approach is verified by improvements of zero-shot ability on a range of unseen datasets and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google