IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions

要約

検索拡張生成 (RAG) は、外部の知識と言語モデルのパラメトリック メモリを組み込むことにより、オープン ドメインの QA タスク用の最先端のアーキテクチャになりました。
ただし、一般的な知識ベースは本質的に、限られた範囲とノイズの多い情報によって制限されているため、検索ベースのアプローチでは暗黙の推論の質問に答えるには不十分です。
この論文では、暗黙的推論のために取得されたドキュメントとともに帰納的知識を利用する帰納拡張生成 (IAG) フレームワークを提案します。
私たちは大規模言語モデル (LLM) を活用して、帰納的推論パターンに基づく新しいプロンプト方法を通じてそのような知識を導き出します。
これに加えて、それぞれ IAG-GPT と IAG-Student という名前の 2 つのバージョンの IAG を実装します。
IAG-GPT は、GPT-3 によって生成された知識を解答予測に直接利用しますが、IAG-Student はスチューデント インダクター モデルを組み込むことで、推論時の GPT サービスへの依存を排除​​します。
インダクタは、最初に知識の蒸留によってトレーニングされ、微分可能なビームスコアを介してジェネレータのフィードバックを逆伝播することによってさらに最適化されます。
実験結果は、2 つのオープンドメイン QA タスクにおいて、IAG が RAG ベースラインおよび ChatGPT よりも優れていることを示しています。
特に、当社の最高のモデルは、CSQA2.0 (2022 年 11 月 1 日以降) および StrategyQA (2023 年 1 月 8 日以降) の公式リーダーボードで 1 位を獲得しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG), by incorporating external knowledge with parametric memory of language models, has become the state-of-the-art architecture for open-domain QA tasks. However, common knowledge bases are inherently constrained by limited coverage and noisy information, making retrieval-based approaches inadequate to answer implicit reasoning questions. In this paper, we propose an Induction-Augmented Generation (IAG) framework that utilizes inductive knowledge along with the retrieved documents for implicit reasoning. We leverage large language models (LLMs) for deriving such knowledge via a novel prompting method based on inductive reasoning patterns. On top of this, we implement two versions of IAG named IAG-GPT and IAG-Student, respectively. IAG-GPT directly utilizes the knowledge generated by GPT-3 for answer prediction, while IAG-Student gets rid of dependencies on GPT service at inference time by incorporating a student inductor model. The inductor is firstly trained via knowledge distillation and further optimized by back-propagating the generator feedback via differentiable beam scores. Experimental results show that IAG outperforms RAG baselines as well as ChatGPT on two Open-Domain QA tasks. Notably, our best models have won the first place in the official leaderboards of CSQA2.0 (since Nov 1, 2022) and StrategyQA (since Jan 8, 2023).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google