The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models

要約

大規模な言語モデルは、多くの場合、忠実で信頼できる回答を生成するために、外部の知識に基づく必要がある。しかし、リファレンスに正しい根拠があっても、保存されている情報の詳細をほとんど知らないユーザが、検索された根拠と直接相関しないかもしれない質問を投げかけると、それらを無視して間違った根拠や固有のバイアスに頼って幻覚を見ることがある。この研究では、この知識アラインメント問題を定式化し、人間のユーザーと知識ベースの両方と対話するフレームワークであるMixAlignを紹介する。MixAlignは自動的な知識アライメントを達成するために言語モデルを採用し、必要であれば、人間のユーザーによる説明によってこのアライメントをさらに強化します。実験結果は、モデルのパフォーマンスを向上させ、幻覚を軽減する上で、知識のアライメントが重要な役割を果たすことを強調しており、それぞれ最大22.2%、27.1%の改善が確認されています。また、MixAlignが高品質でユーザー中心の説明を生成することで、知識アライメントを改善できることも実証しています。

要約(オリジナル)

Large language models often necessitate grounding on external knowledge to generate faithful and reliable answers. Yet even with the correct groundings in the reference, they can ignore them and rely on wrong groundings or their inherent biases to hallucinate when users, being largely unaware of the specifics of the stored information, pose questions that might not directly correlate with the retrieved groundings. In this work, we formulate this knowledge alignment problem and introduce MixAlign, a framework that interacts with both the human user and the knowledge base to obtain and integrate clarifications on how the user question relates to the stored information. MixAlign employs a language model to achieve automatic knowledge alignment and, if necessary, further enhances this alignment through human user clarifications. Experimental results highlight the crucial role of knowledge alignment in boosting model performance and mitigating hallucination, with improvements noted up to 22.2% and 27.1% respectively. We also demonstrate the effectiveness of MixAlign in improving knowledge alignment by producing high-quality, user-centered clarifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL