Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering

要約

ChatGPT のような大規模言語モデル (LLM) の最近の出現は、優れた一般的なパフォーマンスを示していますが、マルチスパンの質問応答などの特定のタスクに関しては、完全に教師ありモデルとの大きなギャップがまだあります。
これまでの研究では、新しい質問に答えるための数回のプロンプトを構築するデモンストレーション例としてタスク関連のラベル付きデータをいくつか使用することにより、コンテキスト内学習が LLM を活用する効果的なアプローチであることが判明しました。
一般的な実装は、単純なテンプレートを通じていくつかの質問とその正解を連結し、LLM に必要な出力を通知することです。
この論文では、既製のモデルによって予測された答え (正しい、間違っている、不完全など) に関するフィードバックをデモンストレーション例に拡張することで、LLM に望ましくない出力を通知する、ラベル付きデータを使用する新しい方法を提案します。
。
3 つのマルチスパン質問応答データセットとキーフレーズ抽出データセットでの実験により、新しいプロンプト戦略が LLM のインコンテキスト学習パフォーマンスを一貫して向上させることが示されました。

要約(オリジナル)

Whereas the recent emergence of large language models (LLMs) like ChatGPT has exhibited impressive general performance, it still has a large gap with fully-supervised models on specific tasks such as multi-span question answering. Previous researches found that in-context learning is an effective approach to exploiting LLM, by using a few task-related labeled data as demonstration examples to construct a few-shot prompt for answering new questions. A popular implementation is to concatenate a few questions and their correct answers through simple templates, informing LLM of the desired output. In this paper, we propose a novel way of employing labeled data such that it also informs LLM of some undesired output, by extending demonstration examples with feedback about answers predicted by an off-the-shelf model, e.g., correct, incorrect, or incomplete. Experiments on three multi-span question answering datasets as well as a keyphrase extraction dataset show that our new prompting strategy consistently improves LLM’s in-context learning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google