Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection

要約

言語モデル (LM) は、私たちが情報を扱う方法に革命をもたらしましたが、事実と異なるテキストを生成することが多く、その信頼性について懸念が生じています。
これまでの方法では、外部知識をテキスト生成の参照として使用して事実性を高めていましたが、無関係な参照による知識の混同（エンティティの不一致など）に苦戦することがよくありました。
さらに、出力テキストの長さが長くなると、サンプリングのランダム性が増大し、生成されるテキストの事実の正確性に悪影響を及ぼす可能性があります。
この論文では、テキスト生成プロセスを反復プロセスに分割する DKGen を紹介します。
各反復で、DKGen は入力クエリ、以前に生成されたテキスト、および参照パッセージのサブセットを入力として受け取り、短いテキストを生成します。
プロセス中に、以前に生成されたテキストおよびクエリとの関連性に基づいて完全なパッセージ セットからサブセットが動的に選択され、入力から無関係な参照が大幅に排除されます。
これらの外部知識を正しく使用する DKGen の機能をさらに強化するために、DKGen はデコーダのクロスアテンション分布に対する参照パッセージの関連性の順序を抽出します。
大規模なベンチマーク データセットで DKGen をトレーニングし、評価します。
実験結果は、DKGen がすべてのベースライン モデルよりも優れていることを示しています。

要約(オリジナル)

Language models (LMs) have revolutionized the way we interact with information, but they often generate nonfactual text, raising concerns about their reliability. Previous methods use external knowledge as references for text generation to enhance factuality but often struggle with the knowledge mix-up(e.g., entity mismatch) of irrelevant references. Besides,as the length of the output text grows, the randomness of sampling can escalate, detrimentally impacting the factual accuracy of the generated text. In this paper, we present DKGen, which divide the text generation process into an iterative process. In each iteration, DKGen takes the input query, the previously generated text and a subset of the reference passages as input to generate short text. During the process, the subset is dynamically selected from the full passage set based on their relevance to the previously generated text and the query, largely eliminating the irrelevant references from input. To further enhance DKGen’s ability to correctly use these external knowledge, DKGen distills the relevance order of reference passages to the cross-attention distribution of decoder. We train and evaluate DKGen on a large-scale benchmark dataset. Experiment results show that DKGen outperforms all baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google