Pointwise Mutual Information Based Metric and Decoding Strategy for Faithful Generation in Document Grounded Dialogs

要約

ディープラーニングに基づく生成モデルを文書に基づくダイアログに使用する際の主な懸念は、基礎となる文書に対して୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)୨⃛忠実でない応答を生成する可能性があることである。根拠となる文書に対する応答の忠実性を評価するために使用される既存の自動化されたメトリクスは、生成された応答と文書の内容との間の類似性の程度を測定する。しかし、これらの自動化されたメトリクスは、人間の判断とうまく整合しているとは言い難い。そこで、忠実度の測定を改善するために、生成されたレスポンスと対話に条件付けされたソース文書との間の（条件付き）ポイントワイズ相互情報（PMI）を利用する新しいメトリックを提案する。PMIは文書が生成された応答にどの程度影響を与えるかを定量化するもので、PMIが高いほど忠実な応答であることを示す。我々はこのアイデアを基に、より忠実な応答を予測するために、応答生成プロセスにPMIを組み込んだ新しいデコーディング技術を開発した。BEGINベンチマークを用いた実験により、我々の指標と人間の評価との相関が改善されたことを実証する。また、一般に公開されている文書に基づいた対話データセットにおいて、標準的なデコーディング技術と比較した場合、我々のデコーディング技術がより忠実な応答を生成するのに有効であることを示す。

要約(オリジナル)

A major concern in using deep learning based generative models for document-grounded dialogs is the potential generation of responses that are not \textit{faithful} to the underlying document. Existing automated metrics used for evaluating the faithfulness of response with respect to the grounding document measure the degree of similarity between the generated response and the document’s content. However, these automated metrics are far from being well aligned with human judgments. Therefore, to improve the measurement of faithfulness, we propose a new metric that utilizes (Conditional) Point-wise Mutual Information (PMI) between the generated response and the source document, conditioned on the dialogue. PMI quantifies the extent to which the document influences the generated response — with a higher PMI indicating a more faithful response. We build upon this idea to create a new decoding technique that incorporates PMI into the response generation process to predict more faithful responses. Our experiments on the BEGIN benchmark demonstrate an improved correlation of our metric with human evaluation. We also show that our decoding technique is effective in generating more faithful responses when compared to standard decoding techniques on a set of publicly available document-grounded dialog datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL