MindDial: Belief Dynamics Tracking with Theory-of-Mind Modeling for Situated Neural Dialogue Generation

要約

人間は、表現された意味や共通点を交渉しながら、自由形式で会話します。
大規模な生成言語モデルの優れた会話能力にもかかわらず、共有の状況環境における文脈理解における個人差は考慮されていません。
この研究では、共通点を交渉するために状況に応じた自由形式の応答を生成できる新しい会話フレームワークである MindDial を提案します。
私たちは、話し手の信念、聞き手の信念に対する話者の予測、最初の 2 つの間のギャップに基づく共通の信念という 3 つのレベルの信念を追跡できる明示的なマインド モジュールを設計します。
その後、発話行為分類責任者は、発話を続けるか、このターンを終了するか、タスク関連のアクションを実行するかを決定します。
共通の地盤位置合わせデータセット MutualFriend を信念ダイナミクス アノテーションで拡張します。その目標は、2 人のエージェント間の自由なチャットに基づいて 1 人の共通の友人を見つけることです。
実験の結果、精神状態モデリングを使用したモデルは、人間の自然な会話の流れを模倣しながら、共通点を調整するときに人間の反応に似ることができることが示されています。
アブレーション研究はさらに、第 3 レベルの共通信念が 1 次および 2 次の信念の情報を集約し、より効率的に共通点を調整できることを検証しました。

要約(オリジナル)

Humans talk in free-form while negotiating the expressed meanings or common ground. Despite the impressive conversational abilities of the large generative language models, they do not consider the individual differences in contextual understanding in a shared situated environment. In this work, we propose MindDial, a novel conversational framework that can generate situated free-form responses to negotiate common ground. We design an explicit mind module that can track three-level beliefs — the speaker’s belief, the speaker’s prediction of the listener’s belief, and the common belief based on the gap between the first two. Then the speaking act classification head will decide to continue to talk, end this turn, or take task-related action. We augment a common ground alignment dataset MutualFriend with belief dynamics annotation, of which the goal is to find a single mutual friend based on the free chat between two agents. Experiments show that our model with mental state modeling can resemble human responses when aligning common ground meanwhile mimic the natural human conversation flow. The ablation study further validates the third-level common belief can aggregate information of the first and second-order beliefs and align common ground more efficiently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google