SAIL: Search-Augmented Instruction Learning

要約

大規模言語モデル (LLM) は命令の微調整によって大幅に改善されましたが、依然として透明性や最新の知識と情報を活用する能力が不足しています。
この研究では、社内および外部の検索エンジンによって生成された複雑な検索結果に基づいて言語生成と命令に従う能力を基礎付ける、検索拡張命令学習 (SAIL) を提案します。
命令調整コーパスを使用して、さまざまな検索 API およびドメインから各トレーニング ケースの検索結果を収集し、 \textit{(命令、グラウンディング情報、応答)} のトリプレットを含む新しい検索ベースのトレーニング セットを構築します。
次に、構築されたトレーニング セットで LLaMA-7B モデルを微調整します。
収集された結果には無関係で議論の余地のある言語が含まれているため、モデルは信頼できる検索結果に基づいて学習し、気を散らす文章を除外し、目的の応答を生成する必要があります。
検索結果のノイズ除去プロセスには、明示的な信頼できる情報の選択とマルチホップ推論が必要です。これは、取得されたパッセージは有益である可能性がありますが、命令に従う回答が含まれていない可能性があるためです。
実験の結果、微調整された SAIL-7B モデルは強力な指示追従能力を備えており、自由回答形式の質問応答や事実確認など、透明性が重要なタスクでのパフォーマンスが大幅に向上していることが示されています。

要約(オリジナル)

Large language models (LLMs) have been significantly improved by instruction fine-tuning, but still lack transparency and the ability to utilize up-to-date knowledge and information. In this work, we propose search-augmented instruction learning (SAIL), which grounds the language generation and instruction following abilities on complex search results generated by in-house and external search engines. With an instruction tuning corpus, we collect search results for each training case from different search APIs and domains, and construct a new search-grounded training set containing \textit{(instruction, grounding information, response)} triplets. We then fine-tune the LLaMA-7B model on the constructed training set. Since the collected results contain unrelated and disputing languages, the model needs to learn to ground on trustworthy search results, filter out distracting passages, and generate the target response. The search result-denoising process entails explicit trustworthy information selection and multi-hop reasoning, since the retrieved passages might be informative but not contain the instruction-following answer. Experiments show that the fine-tuned SAIL-7B model has a strong instruction-following ability, and it performs significantly better on transparency-sensitive tasks, including open-ended question answering and fact checking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google