DnDScore: Decontextualization and Decomposition for Factuality Verification in Long-Form Text Generation

要約

大規模言語モデル (LLM) 世代を検証するための分解してから検証する戦略では、クレームが分解され、その後個別に検証されます。
非文脈化によりテキスト (クレーム) が強化され、元の文脈の外で検証できるようになり、信頼性の高い検証が可能になります。
分解と脱文脈化は独立して研究されてきましたが、完全なシステムにおけるそれらの相互作用は研究されていません。
それらの相反する目的は緊張を生む可能性があります。分解は原子的な事実を分離し、脱文脈化は関連情報を挿入します。
さらに、非文脈化されたサブクレームは、検証ステップに課題を提示します。拡張されたテキストには複数の基本的な事実が含まれているため、どの部分を検証する必要があるかということです。
私たちは、さまざまな分解、脱文脈化、および検証戦略の評価を実施し、結果として得られる事実性スコアにおいて戦略の選択が重要であることを発見しました。
さらに、コンテキスト情報のコンテキストでサブクレームを検証する、コンテキスト解除を意識した検証方法である DnDScore を紹介します。

要約(オリジナル)

The decompose-then-verify strategy for verification of Large Language Model (LLM) generations decomposes claims that are then independently verified. Decontextualization augments text (claims) to ensure it can be verified outside of the original context, enabling reliable verification. While decomposition and decontextualization have been explored independently, their interactions in a complete system have not been investigated. Their conflicting purposes can create tensions: decomposition isolates atomic facts while decontextualization inserts relevant information. Furthermore, a decontextualized subclaim presents a challenge to the verification step: what part of the augmented text should be verified as it now contains multiple atomic facts? We conduct an evaluation of different decomposition, decontextualization, and verification strategies and find that the choice of strategy matters in the resulting factuality scores. Additionally, we introduce DnDScore, a decontextualization aware verification method which validates subclaims in the context of contextual information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google