Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning

要約

タイトル：「プロンプトはあなたが必要としているものですか？いいえ。指示学習の包括的かつ広範な視点」

要約：

– 自然言語処理（NLP）の機械学習アプローチは、主にタスク固有の大規模な例の集合が利用可能な場合に依存しています。
– 一方で、タスクが複雑すぎたり、注釈を付けるのが費用がかかりすぎたり、またはシステムがすぐに新しいタスクに対処する必要がある場合など、タスク固有のラベル付き例を収集することが適用できないシナリオがあります。
– また、エンドユーザーは、システムを使用する前に、例のセットよりもタスクの説明を提供することが好ましいため、この方法はユーザーフレンドリーではありません。
– そのため、NLPにおける新しい指導学習のパラダイムに対するコミュニティの関心が高まっています。
– このコミュニティは、指示から学習する方法について、次のような問題に直面しています：（i）タスク指示とは何か、どのような指示タイプが存在するのか？（ii）指示をどのようにモデル化するか？（iii）指示のパフォーマンスに影響を与える要因は何か？（iv）指示学習に残る課題は何か？
– この論文は、テキスト指示に関する最初の包括的な調査であり、現在の指示学習の研究をまとめています。

要約(オリジナル)

Task semantics can be expressed by a set of input-to-output examples or a piece of textual instruction. Conventional machine learning approaches for natural language processing (NLP) mainly rely on the availability of large-scale sets of task-specific examples. Two issues arise: first, collecting task-specific labeled examples does not apply to scenarios where tasks may be too complicated or costly to annotate, or the system is required to handle a new task immediately; second, this is not user-friendly since end-users are probably more willing to provide task description rather than a set of examples before using the system. Therefore, the community is paying increasing interest in a new supervision-seeking paradigm for NLP: learning from task instructions. Despite its impressive progress, there are some common issues that the community struggles with. This survey paper tries to summarize the current research on instruction learning, particularly, by answering the following questions: (i) what is task instruction, and what instruction types exist? (ii) how to model instructions? (iii) what factors influence and explain the instructions’ performance? (iv) what challenges remain in instruction learning? To our knowledge, this is the first comprehensive survey about textual instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI