Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning

要約

【タイトル】Promptだけで信頼できるか？いいえ。教示学習の包括的かつ広範な視点

【要約】

– タスクの意味は、入力から出力の一連の例または文章での教示のセットで表現できる。
– 自然言語処理(NLP)の従来の機械学習アプローチは主にタスク固有の大規模な例のセットが利用可能であるという前提に基づいている。しかし、タスクが複雑で注釈付けするのが高価である場合や、システムがすぐに新しいタスクを処理する必要がある場合には、タスク固有のラベル付き例の収集は適用できないという問題がある。また、エンドユーザーは使用する前に、例のセットではなくタスクの説明を提供することが望ましいと考えられるため、これはユーザーフレンドリーではない。
– このため、NLPのための新しい教示学習の監督探索パラダイムについて、コミュニティはますます関心を持っている。このサーベイ論文は、教示学習についての現在の研究について、以下の質問に答えることによって、要約して洞察を提供することを試みている。(i)タスクの教示とは何か、どのような教示の種類が存在するか。(ii)教示をどのようにモデル化するか。(iii)教示のパフォーマンスに影響を与える要因は何か。(iv)教示学習に残る課題は何か。これは、教示に関する最初の包括的なサーベイ論文であると考えられる。

要約(オリジナル)

Task semantics can be expressed by a set of input-to-output examples or a piece of textual instruction. Conventional machine learning approaches for natural language processing (NLP) mainly rely on the availability of large-scale sets of task-specific examples. Two issues arise: first, collecting task-specific labeled examples does not apply to scenarios where tasks may be too complicated or costly to annotate, or the system is required to handle a new task immediately; second, this is not user-friendly since end-users are probably more willing to provide task description rather than a set of examples before using the system. Therefore, the community is paying increasing interest in a new supervision-seeking paradigm for NLP: learning from task instructions. Despite its impressive progress, there are some common issues that the community struggles with. This survey paper tries to summarize and provide insights into the current research on instruction learning, particularly by answering the following questions: (i) What is task instruction, and what instruction types exist? (ii) How to model instructions? (iii) What factors influence and explain the instructions’ performance? (iv) What challenges remain in instruction learning? To our knowledge, this is the first comprehensive survey about textual instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI