Prompting-based Synthetic Data Generation for Few-Shot Question Answering

要約

言語モデル (LM) により質問応答のパフォーマンスは向上しましたが、依然として大量のデータが必要です。
対照的に、データの注釈は時間のかかるプロセスです。
これは特に質問応答に当てはまります。この場合、おそらく大きなドキュメントを解析し、質問とそれに対応する回答で注釈を付ける必要があります。
さらに、質問応答モデルは、多くの場合、トレーニングされたドメインでのみ適切に機能します。
アノテーションにはコストがかかるため、言語理解などの LM からのドメインに依存しない知識があれば、適切に厳選されたデータセットを作成するには十分であると私たちは主張します。
この動機により、大規模な言語モデルを使用すると、最先端のアプローチと比較して、少数ショット設定でさまざまなデータセットに対する質問応答のパフォーマンスが向上することを示します。
このため、プロンプティング フレームワークを活用してデータ生成を実行し、一般的な事前トレーニング/微調整スキームを超えて使用できる、タスクに依存しない貴重な知識が言語モデルに含まれていることを示唆しています。
その結果、私たちは数回の質問応答において、以前のアプローチよりも常に優れたパフォーマンスを発揮します。

要約(オリジナル)

Although language models (LMs) have boosted the performance of Question Answering, they still need plenty of data. Data annotation, in contrast, is a time-consuming process. This especially applies to Question Answering, where possibly large documents have to be parsed and annotated with questions and their corresponding answers. Furthermore, Question Answering models often only work well for the domain they were trained on. Since annotation is costly, we argue that domain-agnostic knowledge from LMs, such as linguistic understanding, is sufficient to create a well-curated dataset. With this motivation, we show that using large language models can improve Question Answering performance on various datasets in the few-shot setting compared to state-of-the-art approaches. For this, we perform data generation leveraging the Prompting framework, suggesting that language models contain valuable task-agnostic knowledge that can be used beyond the common pre-training/fine-tuning scheme. As a result, we consistently outperform previous approaches on few-shot Question Answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google