An Empirical Study of Retrieval Augmented Generation with Chain-of-Thought

要約

2022 年末に ChatGPT が発表されて以来、ChatGPT に代表される生成対話モデルは急速に日常生活に不可欠なツールになりました。
ユーザーの期待が高まるにつれ、複雑な問題を解決するための生成対話モデルの機能を強化することが、現在の研究の焦点となっています。
この論文では、生成対話モデルのパフォーマンス向上における RAFT (検索拡張微調整) 法の有効性について詳しく説明します。
RAFT は、思考連鎖をモデル教師あり微調整 (SFT) および検索拡張生成 (RAG) と組み合わせ、モデルの情報抽出および論理的推論能力を大幅に強化します。
私たちは複数のデータセットにわたって RAFT 手法を評価し、長文 QA タスクと短文 QA タスク、中国語と英語の両方でのタスク、支援推論タスクと比較推論タスクなど、さまざまな推論タスクでのパフォーマンスを分析しました。
特に、長文の QA タスクと中国のデータセットに関する以前の研究のギャップに対処しています。
さらに、RAFT 手法における思考連鎖 (CoT) の利点も評価します。
この研究は、生成対話モデルのパフォーマンスの向上に焦点を当てた研究に貴重な洞察を提供します。

要約(オリジナル)

Since the launch of ChatGPT at the end of 2022, generative dialogue models represented by ChatGPT have quickly become essential tools in daily life. As user expectations increase, enhancing the capability of generative dialogue models to solve complex problems has become a focal point of current research. This paper delves into the effectiveness of the RAFT (Retrieval Augmented Fine-Tuning) method in improving the performance of Generative dialogue models. RAFT combines chain-of-thought with model supervised fine-tuning (SFT) and retrieval augmented generation (RAG), which significantly enhanced the model’s information extraction and logical reasoning abilities. We evaluated the RAFT method across multiple datasets and analysed its performance in various reasoning tasks, including long-form QA and short-form QA tasks, tasks in both Chinese and English, and supportive and comparison reasoning tasks. Notably, it addresses the gaps in previous research regarding long-form QA tasks and Chinese datasets. Moreover, we also evaluate the benefit of the chain-of-thought (CoT) in the RAFT method. This work offers valuable insights for studies focused on enhancing the performance of generative dialogue models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google