Atomic Consistency Preference Optimization for Long-Form Question Answering

要約

大規模な言語モデル（LLM）は、頻繁にファクトイドの幻覚を生成します – もっともらしいが誤った答え。
一般的な緩和戦略はモデルアラインメントであり、これにより、キュレーションされた事実と非操作のペアに関するトレーニングによって事実上の正確さが向上します。
ただし、このアプローチは、多くの場合、より強力なモデル（GPT-4など）または事実上の正確性を評価するための外部知識ベースに依存しています。
これに対処するために、外部の監督なしで事実上の精度を向上させる自己監視の優先順位調整方法である原子一貫性選好最適化（ACPO）を提案します。
ACPOは、モデルアライメントの高品質および低品質のデータペアを特定するために、原子一貫性シグナル、つまり複数の確率的応答にわたる個々の事実の一致を活用します。
コストのかかるGPTコールの必要性を排除することにより、ACPOは、事実上の質問を改善するためのスケーラブルで効率的なアプローチを提供します。
自己監視にもかかわらず、経験的な結果は、ACPOが、長所データセットとバイオゲンデータセットで1.95ポイントで、強力な監視されたアライメントベースラインである事実能を上回ることを示しており、外部モデルや知識ベースに依存することなく事実上の信頼性を高める上でその有効性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) frequently produce factoid hallucinations – plausible yet incorrect answers. A common mitigation strategy is model alignment, which improves factual accuracy by training on curated factual and non-factual pairs. However, this approach often relies on a stronger model (e.g., GPT-4) or an external knowledge base to assess factual correctness, which may not always be accessible. To address this, we propose Atomic Consistency Preference Optimization (ACPO), a self-supervised preference-tuning method that enhances factual accuracy without external supervision. ACPO leverages atomic consistency signals, i.e., the agreement of individual facts across multiple stochastic responses, to identify high- and low-quality data pairs for model alignment. By eliminating the need for costly GPT calls, ACPO provides a scalable and efficient approach to improving factoid question-answering. Despite being self-supervised, empirical results demonstrate that ACPO outperforms FactAlign, a strong supervised alignment baseline, by 1.95 points on the LongFact and BioGen datasets, highlighting its effectiveness in enhancing factual reliability without relying on external models or knowledge bases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google