Teaching Smaller Language Models To Generalise To Unseen Compositional Questions

要約

私たちは、トレーニングでは見られなかった難しい構成上の質問に答えるために一般化するために、より小さな言語モデルを装備しています。
これを行うために、多様な推論能力を植え付けるように設計された最大 93 のタスクに関するマルチタスク教師付き事前トレーニングと、証拠となる段落の断片のセットを取得することを目的とした高密度検索システムの組み合わせを提案します。
質問応答における最近の進歩は、非常に大規模な事前トレーニング済み言語モデルに対するプロンプト手法をゼロまたは数ショット方式でプロンプトする方法、または場合によっては情報検索と組み合わせて小規模なモデルを微調整することによって達成されています。
我々は、特定の質問に答えるのに十分な情報が存在しない可能性があるコーパスに対する検索を伴う、より小規模なモデルでゼロショット汎化をどの程度有効にすることができるかという、あまり研究されていない問題に焦点を当てます。
この設定では、さまざまな評価データセット (StrategyQA、CommonsenseQA、IIRC、DROP、Musique、ARC-DA) に対して強力なベースラインを確立し、モデルを公開するように設計された検索拡張トレーニング データセットを追加することでパフォーマンスが大幅に向上できることを示します。
部分的な証拠を比較検討したり、無関係な文脈を無視したりするなど、さまざまなヒューリスティック推論戦略。

要約(オリジナル)

We equip a smaller Language Model to generalise to answering challenging compositional questions that have not been seen in training. To do so we propose a combination of multitask supervised pretraining on up to 93 tasks designed to instill diverse reasoning abilities, and a dense retrieval system that aims to retrieve a set of evidential paragraph fragments. Recent progress in question-answering has been achieved either through prompting methods against very large pretrained Language Models in zero or few-shot fashion, or by fine-tuning smaller models, sometimes in conjunction with information retrieval. We focus on the less explored question of the extent to which zero-shot generalisation can be enabled in smaller models with retrieval against a corpus within which sufficient information to answer a particular question may not exist. We establish strong baselines in this setting for diverse evaluation datasets (StrategyQA, CommonsenseQA, IIRC, DROP, Musique and ARC-DA), and show that performance can be significantly improved by adding retrieval-augmented training datasets which are designed to expose our models to a variety of heuristic reasoning strategies such as weighing partial evidence or ignoring an irrelevant context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google