Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning

要約

タスクのセマンティクスは、一連の入力から出力の例またはテキストによる指示によって表現できます。
自然言語処理 (NLP) のための従来の機械学習アプローチは、主に、タスク固有のサンプルの大規模なセットの利用可能性に依存しています。
2 つの問題が発生します。まず、タスク固有のラベル付きサンプルの収集は、タスクが複雑すぎたり、注釈を付けるのにコストがかかりすぎたりするシナリオや、システムが新しいタスクをすぐに処理する必要があるシナリオには適用されません。
第 2 に、エンドユーザーはシステムを使用する前に一連の例よりもタスクの説明を提供することを好む可能性が高いため、これはユーザーフレンドリーではありません。
したがって、コミュニティは、NLP の新しい監督を求めるパラダイム、つまりタスクの指示から学習することへの関心を高めています。
目覚ましい進歩にもかかわらず、コミュニティが苦労している共通の問題がいくつかあります。
この調査報告書は、特に次の質問に答えることによって、指導学習に関する現在の研究を要約し、洞察を提供することを目的としています: (i) 課題指導とは何ですか、またどのような指導タイプが存在しますか?
(ii) 命令をどのようにモデル化するか?
(iii) 命令のパフォーマンスに影響を与え、説明する要因は何ですか?
(iv) 指導学習にはどのような課題が残っていますか?
私たちの知る限り、これはテキストによる指示に関する最初の包括的な調査です。

要約(オリジナル)

Task semantics can be expressed by a set of input-to-output examples or a piece of textual instruction. Conventional machine learning approaches for natural language processing (NLP) mainly rely on the availability of large-scale sets of task-specific examples. Two issues arise: first, collecting task-specific labeled examples does not apply to scenarios where tasks may be too complicated or costly to annotate, or the system is required to handle a new task immediately; second, this is not user-friendly since end-users are probably more willing to provide task description rather than a set of examples before using the system. Therefore, the community is paying increasing interest in a new supervision-seeking paradigm for NLP: learning from task instructions. Despite its impressive progress, there are some common issues that the community struggles with. This survey paper tries to summarize and provide insights into the current research on instruction learning, particularly by answering the following questions: (i) What is task instruction, and what instruction types exist? (ii) How to model instructions? (iii) What factors influence and explain the instructions’ performance? (iv) What challenges remain in instruction learning? To our knowledge, this is the first comprehensive survey about textual instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google