A Comprehensive Survey on Instruction Following

要約

タスクのセマンティクスは、一連の入出力例またはテキストによる指示によって表現できます。
自然言語処理 (NLP) のための従来の機械学習アプローチは、主に、タスク固有のサンプルの大規模なセットの利用可能性に依存しています。
2 つの問題が発生します。まず、タスク固有のラベル付きサンプルの収集は、タスクが複雑すぎたり、注釈を付けるのにコストがかかりすぎたりするシナリオや、システムが新しいタスクをすぐに処理する必要があるシナリオには適用されません。
第 2 に、エンドユーザーはシステムを使用する前に一連の例よりもタスクの説明を提供することを好む可能性が高いため、これはユーザーフレンドリーではありません。
したがって、コミュニティは、NLP の新しい監督を求めるパラダイム、つまりタスクの指示に従うことを学ぶこと、つまり指示に従うことへの関心を高めています。
目覚ましい進歩にもかかわらず、コミュニティが苦労している共通の問題がいくつかあります。
この調査報告書は、特に次の質問に答えることによって、指示フォローに関する現在の研究を要約し、洞察を提供することを目的としています: (i) タスク指示とは何ですか、またどのような指示タイプが存在しますか?
(ii) 命令をどのようにモデル化するか?
(iii) データセットと評価指標に従う一般的な指示は何ですか?
(iv) 命令のパフォーマンスに影響を与え、説明する要因は何ですか?
(v) その後の指導にはどのような課題が残っていますか?
私たちの知る限り、これは指導後の指導に関する初めての包括的な調査です。

要約(オリジナル)

Task semantics can be expressed by a set of input-output examples or a piece of textual instruction. Conventional machine learning approaches for natural language processing (NLP) mainly rely on the availability of large-scale sets of task-specific examples. Two issues arise: first, collecting task-specific labeled examples does not apply to scenarios where tasks may be too complicated or costly to annotate, or the system is required to handle a new task immediately; second, this is not user-friendly since end-users are probably more willing to provide task description rather than a set of examples before using the system. Therefore, the community is paying increasing interest in a new supervision-seeking paradigm for NLP: learning to follow task instructions, i.e., instruction following. Despite its impressive progress, there are some common issues that the community struggles with. This survey paper tries to summarize and provide insights to the current research on instruction following, particularly, by answering the following questions: (i) What is task instruction, and what instruction types exist? (ii) How to model instructions? (iii) What are popular instruction following datasets and evaluation metrics? (iv) What factors influence and explain the instructions’ performance? (v) What challenges remain in instruction following? To our knowledge, this is the first comprehensive survey about instruction following.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google