A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest

要約

大規模言語モデル (LLM) は、言語生成において優れた能力を持っているにもかかわらず、特定のドメインで複雑で知識を要求するクエリを処理するときに課題に遭遇することがよくあります。
この論文では、ドメイン固有のテキスト ソースから関連する知識を効果的に抽出し、ドメイン固有の問い合わせによるチャットボットの適応トレーニングによって LLM を強化する新しいアプローチを紹介します。
私たちの 2 段階のアプローチは、ナレッジ マイナー、つまり LLMiner をトレーニングすることから始まります。LLMiner は、思考連鎖推論プロセスを通じて、関連するドキュメントから質問と回答のペアを自律的に抽出します。
その後、マイニングされた QA ペアを会話データセットとブレンドして、LLM をチャットボットとして微調整し、そのドメイン固有の専門知識と会話機能を強化します。
また、4 つのドメイン固有のテキスト コーパスと、テスト用に人間が作成した関連する QA ペアで構成される新しい評価ベンチマークも開発しました。
私たちのモデルは、一般的に調整された LLM と比較して顕著なパフォーマンスの向上を示し、ドメイン コーパスで直接微調整されたドメイン適応モデルを上回っています。
特に、LLMiner は最小限の人的介入でこれを実現し、必要なシード インスタンスはわずか 600 個であり、それによってモデル合成トレーニング データを通じて LLM の自己改善への道を提供します。

要約(オリジナル)

Large Language Models (LLMs), despite their great power in language generation, often encounter challenges when dealing with intricate and knowledge-demanding queries in specific domains. This paper introduces a novel approach to enhance LLMs by effectively extracting the relevant knowledge from domain-specific textual sources, and the adaptive training of a chatbot with domain-specific inquiries. Our two-step approach starts from training a knowledge miner, namely LLMiner, which autonomously extracts Question-Answer pairs from relevant documents through a chain-of-thought reasoning process. Subsequently, we blend the mined QA pairs with a conversational dataset to fine-tune the LLM as a chatbot, thereby enriching its domain-specific expertise and conversational capabilities. We also developed a new evaluation benchmark which comprises four domain-specific text corpora and associated human-crafted QA pairs for testing. Our model shows remarkable performance improvement over generally aligned LLM and surpasses domain-adapted models directly fine-tuned on domain corpus. In particular, LLMiner achieves this with minimal human intervention, requiring only 600 seed instances, thereby providing a pathway towards self-improvement of LLMs through model-synthesized training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google