Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning

要約

タスクのセマンティクスは、入力から出力への一連の例またはテキストによる指示によって表現できます。
自然言語処理 (NLP) のための従来の機械学習アプローチは、主にタスク固有の例の大規模なセットの可用性に依存しています。
2 つの問題が発生します。まず、タスク固有のラベル付きの例を収集することは、タスクが複雑すぎたりコストがかかりすぎて注釈を付けられなかったり、システムが新しいタスクをすぐに処理する必要があるシナリオには適用されません。
第二に、エンドユーザーはおそらくシステムを使用する前に一連の例よりもタスクの説明を提供することをいとわないため、これはユーザーフレンドリーではありません。
したがって、コミュニティは、NLP の新しい監督を求めるパラダイム、つまりタスクの指示から学習することへの関心を高めています。
その目覚ましい進歩にもかかわらず、コミュニティが苦労しているいくつかの共通の問題があります。
この調査論文は、特に次の質問に答えることによって、指導学習に関する現在の研究を要約しようとしています。
(ii) 指示をどのようにモデル化するか?
(iii) 命令のパフォーマンスに影響を与え、説明する要因は何か?
(iv) 指導学習にはどのような課題が残っていますか?
私たちの知る限り、これはテキストによる指示に関する最初の包括的な調査です。

要約(オリジナル)

Task semantics can be expressed by a set of input-to-output examples or a piece of textual instruction. Conventional machine learning approaches for natural language processing (NLP) mainly rely on the availability of large-scale sets of task-specific examples. Two issues arise: first, collecting task-specific labeled examples does not apply to scenarios where tasks may be too complicated or costly to annotate, or the system is required to handle a new task immediately; second, this is not user-friendly since end-users are probably more willing to provide task description rather than a set of examples before using the system. Therefore, the community is paying increasing interest in a new supervision-seeking paradigm for NLP: learning from task instructions. Despite its impressive progress, there are some common issues that the community struggles with. This survey paper tries to summarize the current research on instruction learning, particularly, by answering the following questions: (i) what is task instruction, and what instruction types exist? (ii) how to model instructions? (iii) what factors influence and explain the instructions’ performance? (iv) what challenges remain in instruction learning? To our knowledge, this is the first comprehensive survey about textual instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google