How do decoding algorithms distribute information in dialogue responses?

要約

人間は、発話で情報を均等に分散することによって、均一情報密度 (UID) の原則に従う傾向があります。
復号化アルゴリズムが暗黙的にこの UID の原則に従うかどうか、およびどのような条件下で UID への準拠が対話生成に望ましいかを研究します。
Persona-Chat データセットの GPT-2 でさまざまなデコード アルゴリズムを使用して応答を生成し、Amazon Mechanical Turk を使用してその品質に関する人間の判断を収集します。
(i) 驚くべきことに、モデルによって生成された応答は、人間の応答よりも UID の原則に従っており、(ii) UID を促進するデコード アルゴリズムは高品質の応答を生成しないことがわかりました。
代わりに、驚きを制御すると、情報密度の不均一性は、非常に低い/高い驚きの応答の質と相関します。
私たちの調査結果は、不均一な応答を奨励することが「可能性の罠」問題 (非常に可能性の高いテキストの品質低下) に対する潜在的な解決策であることを示しています。
ダイアログ履歴ごとに複数の候補応答を含むデータセットと、人間が注釈を付けた品質評価を含むデータセットは、https://huggingface.co/datasets/saranya132/dialog_uid_gpt2 で入手できます。

要約(オリジナル)

Humans tend to follow the Uniform Information Density (UID) principle by distributing information evenly in utterances. We study if decoding algorithms implicitly follow this UID principle, and under what conditions adherence to UID might be desirable for dialogue generation. We generate responses using different decoding algorithms with GPT-2 on the Persona-Chat dataset and collect human judgments on their quality using Amazon Mechanical Turk. We find that (i) surprisingly, model-generated responses follow the UID principle to a greater extent than human responses, and (ii) decoding algorithms that promote UID do not generate higher-quality responses. Instead, when we control for surprisal, non-uniformity of information density correlates with the quality of responses with very low/high surprisal. Our findings indicate that encouraging non-uniform responses is a potential solution to the “likelihood trap” problem (quality degradation in very high-likelihood text). Our dataset containing multiple candidate responses per dialog history along with human-annotated quality ratings is available at https://huggingface.co/datasets/saranya132/dialog_uid_gpt2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google