FLAME: Factuality-Aware Alignment for Large Language Models

要約

アライメントは、自然言語の指示に従い、有用な AI アシスタントとして機能するように、事前トレーニングされた大規模言語モデル (LLM) を微調整する標準的な手順です。
しかし、従来の位置合わせプロセスでは LLM の事実の精度を向上させることができず、多くの場合、より多くの誤った事実 (つまり、幻覚) が生成されることが観察されました。
この論文では、教師あり微調整 (SFT) と強化学習 (RL) の両方のアライメント ステップで幻覚を引き起こす要因を最初に特定することにより、LLM アライメント プロセスをより事実に即したものにする方法を研究します。
特に、新しい知識やなじみのないテキストについて LLM をトレーニングすると、幻覚を助長する可能性があることがわかりました。
これにより、SFT は LLM にとって新規の可能性がある人間によるラベル付けされたデータでトレーニングされるため、事実に基づくものではなくなります。
さらに、標準的な RL で使用される報酬関数は、LLM がさまざまな命令セットに対してより有益な応答を提供するように誘導し、多くの場合、より長く、より詳細な応答を好むため、幻覚を促進する可能性があります。
これらの観察に基づいて、直接選好最適化による事実を意識した SFT と事実を意識した RL で構成される、事実を意識した調整を提案します。
実験によれば、私たちが提案した事実を意識した調整により、LLM は指示に従う能力を維持しながら、より事実に基づいた応答を出力できるようになります。

要約(オリジナル)

Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google