Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering

要約

ドメイン固有の質問応答 (QA) の実際のシナリオに大規模言語モデル (LLM) を導入することは、LLM アプリケーションにとって重要な推進力であり、特に応答がユーザー要件に適合し、ドメイン固有の知識を適切に活用できるようにする上で、多くの課題が生じます。
基地。
バニラの微調整では対処できないため、これらは LLM アプリケーションの 2 つの大きな問題です。
これらの要件を組み合わせると、モデルの好みが人間の好みと調和して調整されるための要件として考えられます。
そこで、2 つの問題に取り組むために 2 種類のプリファレンス セットを構築する Knowledgeable Preference Alignment (KnowPAT) を紹介します。
さらに、LLM の好みを人間のさまざまな好みに均一に合わせるための新しい調整目標を設計し、現実世界のドメイン固有の QA 設定で LLM のパフォーマンスを最適化することを目指しています。
適切な実験と 15 のベースライン手法との包括的な比較により、KnowPAT が LLM を使用した実際のシナリオのドメイン固有の QA にとって優れたパイプラインであることがわかります。

要約(オリジナル)

Deploying large language models (LLMs) to real scenarios for domain-specific question answering (QA) is a key thrust for LLM applications, which poses numerous challenges, especially in ensuring that responses are both accommodating to user requirements and appropriately leveraging domain-specific knowledge bases. They are the two major difficulties for LLM application as vanilla fine-tuning falls short of addressing. Combining these requirements, we conceive of them as the requirement for the model’s preference to be harmoniously aligned with humans’. Thus, we introduce Knowledgeable Preference AlignmenT (KnowPAT), which constructs two kinds of preference sets to tackle the two issues. Besides, we design a new alignment objective to align the LLM preference with different human preferences uniformly, aiming to optimize LLM performance in real-world, domain-specific QA settings. Adequate experiments and comprehensive comparisons with 15 baseline methods illustrate that our KnowPAT is a superior pipeline for real-scenario domain-specific QA with LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google