FactAlign: Long-form Factuality Alignment of Large Language Models

要約

大規模な言語モデルは、次世代の情報アクセス エンジンとして大きな可能性を示しています。
しかし、その信頼性は、幻覚や非事実コンテンツの生成の問題によって妨げられています。
これは、事実の正確性の評価と保証が複雑な長文の回答の場合に特に問題になります。
この論文では、LLM の長い形式の応答の有用性を維持しながら、その事実性を高めるように設計された新しい調整フレームワークである FactAlign を提案することで、このギャップに対処します。
fKTO は、Kahneman-Tversky Optimization (KTO) アライメント手法を拡張した、きめ細かい文レベルのアライメント アルゴリズムです。
FactAlign は、自動事実性評価における最近の進歩を活用して、きめ細かい事実性評価を利用して調整プロセスをガイドします。
オープンドメインのプロンプトと情報を求める質問に関する私たちの実験では、FactAlign が LLM 応答の事実の正確性を大幅に向上させると同時に、その有用性も向上させることを示しています。
さらなる分析により、FactAlign は事実の精度を損なうことなく、より多くの情報を提供するように LLM をトレーニングできるため、事実の F1 スコアが向上することが判明しました。
私たちのソースコード、データセット、トレーニング済みモデルは、https://github.com/MiuLab/FactAlign で公開されています。

要約(オリジナル)

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs’ long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign

arxiv情報

提供元, 利用サービス

arxiv.jp, Google