Unsupervised Mutual Learning of Dialogue Discourse Parsing and Topic Segmentation

要約

大規模言語モデル(LLM)の進歩は、対話システムの開発を推進してきた。一般的なChatGPTのようなユーザーの好みを満たすだけのアシスタントモデルとは異なり、タスク指向の対話システムは、より広範なビジネス分野においても新たな要求と課題に直面している。タスク指向対話システムは、対話の各ターンで正しい応答を提供すると同時に、タスクによって定義された全体的な目標を達成することが期待されている。トピックセグメンテーションと談話構文解析によって修辞構造とトピック構造を理解することで、対話システムは両方の目的を達成するためのより良い計画を立てることができる。しかし、言語学では両構造は談話構造に属するが、先行研究では修辞構造とトピック構造は別々にモデル化されるか、一方が他方を補助する形でモデル化されることがほとんどである。これら2つの構造間の相互作用は、共同モデリングや相互学習では考慮されていない。さらに、上記を達成するための教師なし学習技法はあまり研究されていない。このギャップを埋めるために、我々は2つの構造間の大域的・局所的なつながりを活用した教師なし相互学習の枠組みを提案する。隣接しない談話単位間のトピックモデリングを拡張し、修辞構造とのグローバルな構造的関連性を確保する。また、局所的な首尾一貫性を確保するために、グラフニューラルネットワークモデルを通して修辞構造をトピック構造に組み込む。最後に、2つの融合構造間の類似性を相互学習に利用する。実験結果は、2つの対話修辞データセット(STACとMolweni)と対話トピックデータセット(Doc2DialとTIAGE)において、我々の手法が全ての強力なベースラインを上回ることを示す。コードはhttps://github.com/Jeff-Sue/URT。

要約(オリジナル)

The advancement of large language models (LLMs) has propelled the development of dialogue systems. Unlike the popular ChatGPT-like assistant model, which only satisfies the user’s preferences, task-oriented dialogue systems have also faced new requirements and challenges in the broader business field. They are expected to provide correct responses at each dialogue turn, at the same time, achieve the overall goal defined by the task. By understanding rhetorical structures and topic structures via topic segmentation and discourse parsing, a dialogue system may do a better planning to achieve both objectives. However, while both structures belong to discourse structure in linguistics, rhetorical structure and topic structure are mostly modeled separately or with one assisting the other in the prior work. The interaction between these two structures has not been considered for joint modeling and mutual learning. Furthermore, unsupervised learning techniques to achieve the above are not well explored. To fill this gap, we propose an unsupervised mutual learning framework of two structures leveraging the global and local connections between them. We extend the topic modeling between non-adjacent discourse units to ensure global structural relevance with rhetorical structures. We also incorporate rhetorical structures into the topic structure through a graph neural network model to ensure local coherence consistency. Finally, we utilize the similarity between the two fused structures for mutual learning. The experimental results demonstrate that our methods outperform all strong baselines on two dialogue rhetorical datasets (STAC and Molweni), as well as dialogue topic datasets (Doc2Dial and TIAGE). We provide our code at https://github.com/Jeff-Sue/URT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL