A Survey of the Evolution of Language Model-Based Dialogue Systems

要約

タスク指向対話システム (TOD) やオープンドメイン対話システム (ODD) などの対話システムは、言語モデル (LM) が中心的な役割を果たしながら、大幅な変革を遂げてきました。
この調査では、対話システムの歴史的軌跡を掘り下げ、この進化を 4 つの異なる段階に分類することで、言語モデルの進歩との複雑な関係を解明しています。各段階は、重要な LM のブレークスルーによって特徴付けられます。 1) 初期段階: 統計的な LM によって特徴付けられ、ルールベースの結果となる
または機械学習駆動のダイアログシステム。
2) NLM にはパラメータに固有の知識が欠けているため、neural_lang_models (NLM; 例: LSTM や GRU) に基づく TOD および ODD の独立した開発。
３）事前訓練言語モデル（ＰＬＭ）のアドバタイズを伴う、異なるタイプの対話システム間の融合。これは、ＴＯＤ内の４つのサブタスク間の融合から始まり、次にＴＯＤ＿ｗｉｔｈ＿ＯＤＤに至る。
4) 現在の LLM ベースの対話システム。LLM を使用して TOD と ODD をシームレスに実行できます。
したがって、私たちの調査は、LM の進歩に沿った時系列的な視点を提供し、最先端の研究成果の包括的なレビューを提供します。
さらに、新たなトピックに焦点を当て、未解決の課題について議論し、LLM ベースの対話システムの将来の方向性について貴重な洞察を提供します。
この探索を通じて、私たちは進化をより深く理解するための道を開き、LM ベースの対話システムの将来の開発を導きます。

要約(オリジナル)

Dialogue systems, including task-oriented_dialogue_system (TOD) and open-domain_dialogue_system (ODD), have undergone significant transformations, with language_models (LM) playing a central role. This survey delves into the historical trajectory of dialogue systems, elucidating their intricate relationship with advancements in language models by categorizing this evolution into four distinct stages, each marked by pivotal LM breakthroughs: 1) Early_Stage: characterized by statistical LMs, resulting in rule-based or machine-learning-driven dialogue_systems; 2) Independent development of TOD and ODD based on neural_language_models (NLM; e.g., LSTM and GRU), since NLMs lack intrinsic knowledge in their parameters; 3) fusion between different types of dialogue systems with the advert of pre-trained_language_models (PLMs), starting from the fusion between four_sub-tasks_within_TOD, and then TOD_with_ODD; and 4) current LLM-based_dialogue_system, wherein LLMs can be used to conduct TOD and ODD seamlessly. Thus, our survey provides a chronological perspective aligned with LM breakthroughs, offering a comprehensive review of state-of-the-art research outcomes. What’s more, we focus on emerging topics and discuss open challenges, providing valuable insights into future directions for LLM-based_dialogue_systems. Through this exploration, we pave the way for a deeper_comprehension of the evolution, guiding future developments in LM-based dialogue_systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google