DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

要約

大規模言語モデル (LLM) により、対話がヒューマン マシン インタラクションの中心的なモードの 1 つとなり、膨大な量の会話ログが蓄積され、対話生成の需要が増大しました。
会話のライフサイクルは、プレリュードから対話、エピローグまで続き、さまざまな要素が含まれます。
対話に関する研究は数多く存在するものの、包括的な対話要素を網羅するベンチマークが不足しており、正確なモデリングや体系的な評価が妨げられています。
このギャップを埋めるために、$\textit{要素認識}$ と $\textit{ を含む革新的な研究タスク $\textbf{D}$ialogue $\textbf{E}$lement $\textbf{MO}$deling を導入します。
Dialogue Agent Interaction}$ を作成し、包括的な対話モデリングと評価のために設計された新しいベンチマーク $\textbf{DEMO}$ を提案します。
模倣学習からインスピレーションを得て、DEMO ベンチマークに基づいて対話要素をモデル化する優れた能力を持つエージェントをさらに構築します。
広範な実験により、既存の LLM には依然として拡張の大きな可能性があり、DEMO エージェントはドメイン内タスクとドメイン外タスクの両方で優れたパフォーマンスを備えていることが示されています。

要約(オリジナル)

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task $\textbf{D}$ialogue $\textbf{E}$lement $\textbf{MO}$deling, including $\textit{Element Awareness}$ and $\textit{Dialogue Agent Interaction}$, and propose a novel benchmark, $\textbf{DEMO}$, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google