Knowledge-Augmented Language Model Verification

要約

最近の言語モデル (LM) は、パラメータに組み込まれた知識を使用してテキストを生成するという優れた機能を示しています。
しかし、LM は、その知識が不正確、不完全、古い可能性があるため、与えられたクエリに対して事実に反する応答を生成することがよくあります。
この問題に対処するために、以前の研究では、外部の知識源から取得した知識で LM を強化することが提案されています。
ただし、このようなアプローチでは、次の 2 つの理由により、テキスト生成パフォーマンスが最適化されていないことがよくあります。1) モデルが、指定されたクエリに関連する知識を取得できない可能性がある、または 2) モデルが、取得した知識を生成されたテキストに忠実に反映していない可能性があります。
これらを克服するために、別の検証器を使用して出力と知識拡張 LM の知識を検証することを提案します。検証器は、命令の微調整を通じてこれら 2 種類のエラーを検出するように訓練された小さな LM です。
その後、検証者がエラーを認識すると、新しい知識を取得するか、新しいテキストを生成することでエラーを修正できます。
さらに、検証プロセスの信頼性を高めるために、単一の検証器を備えたさまざまな命令からの出力のアンサンブルを使用します。
提案された検証ステップの有効性を複数の質問応答ベンチマークで検証します。その結果は、提案された検証器が取得エラーと生成エラーを効果的に特定し、LM がより事実に基づいて正しい出力を提供できることを示しています。
私たちのコードは https://github.com/JinheonBaek/KALMV で入手できます。

要約(オリジナル)

Recent Language Models (LMs) have shown impressive capabilities in generating texts with the knowledge internalized in parameters. Yet, LMs often generate the factually incorrect responses to the given queries, since their knowledge may be inaccurate, incomplete, and outdated. To address this problem, previous works propose to augment LMs with the knowledge retrieved from an external knowledge source. However, such approaches often show suboptimal text generation performance due to two reasons: 1) the model may fail to retrieve the knowledge relevant to the given query, or 2) the model may not faithfully reflect the retrieved knowledge in the generated text. To overcome these, we propose to verify the output and the knowledge of the knowledge-augmented LMs with a separate verifier, which is a small LM that is trained to detect those two types of errors through instruction-finetuning. Then, when the verifier recognizes an error, we can rectify it by either retrieving new knowledge or generating new text. Further, we use an ensemble of the outputs from different instructions with a single verifier to enhance the reliability of the verification processes. We validate the effectiveness of the proposed verification steps on multiple question answering benchmarks, whose results show that the proposed verifier effectively identifies retrieval and generation errors, allowing LMs to provide more factually correct outputs. Our code is available at https://github.com/JinheonBaek/KALMV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google