Retrieval Augmented Generation for Domain-specific Question Answering

要約

質問応答 (QA) は、大規模な言語モデルの高度な開発において重要なアプリケーションとなっています。
質問応答用の一般的な事前トレーニング済みの大規模言語モデルは、金融、医療、教育、製品の顧客サービスなど、特定の分野の知識や用語を適切に理解するようにトレーニングされていません。
ドメイン固有の理解にさらに応えるために、アドビ製品向けの社内質問応答システムを構築しています。
私たちは、大規模な質問と回答のデータベースをコンパイルし、大規模言語モデルの検索を意​​識した微調整のアプローチを開発するための新しいフレームワークを提案します。
レトリバーの微調整が最終世代の大幅な改善につながることを示します。
私たちの全体的なアプローチは、生成中の幻覚を軽減しながら、コンテキストの基礎となる最新の検索情報をコンテキスト内に維持します。

要約(オリジナル)

Question answering (QA) has become an important application in the advanced development of large language models. General pre-trained large language models for question-answering are not trained to properly understand the knowledge or terminology for a specific domain, such as finance, healthcare, education, and customer service for a product. To better cater to domain-specific understanding, we build an in-house question-answering system for Adobe products. We propose a novel framework to compile a large question-answer database and develop the approach for retrieval-aware finetuning of a Large Language model. We showcase that fine-tuning the retriever leads to major improvements in the final generation. Our overall approach reduces hallucinations during generation while keeping in context the latest retrieval information for contextual grounding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google