Representing Rule-based Chatbots with Transformers

要約

流動的で自然な響きの会話を実施するために、変圧器がどのような内部メカニズムを使用する可能性がありますか？
以前の作業は、トランスがリストの並べ替えや正式な言語の認識など、さまざまな合成タスクをどのように解決できるかを構築することで説明していますが、このアプローチを会話設定に拡張する方法は不明のままです。
この作業では、クラシックルールベースのチャットボットであるElizaを使用して、トランスベースのチャットボットの正式な機械的分析の設定として提案します。
Elizaは、ローカルパターンマッチングや長期的な対話状態追跡など、会話の重要な側面を正式にモデル化することができます。
最初に、エリザチャットボットを実装するトランスの理論的構造を提示します。
以前の構造、特に有限状態のオートマトンをシミュレートするための構造に基づいて、より簡単なメカニズムを構成し、拡張してより洗練された動作を生成できることを示します。
次に、合成的に生成されたEliza会話で訓練された変圧器の経験的分析のセットを実施します。
私たちの分析は、これらのモデルが好む傾向があるメカニズムの種類を示しています。例えば、モデルは、より正確で位置ベースのコピーメカニズムよりも誘導ヘッドメカニズムを支持しています。
中間世代を使用して、暗黙のスクラッチパッドや考え方に似た再発性データ構造をシミュレートします。
全体として、ニューラルチャットボットと解釈可能な象徴的なメカニズムとの間に明示的なつながりを描くことにより、我々の結果は、会話エージェントの機構分析のための新しいフレームワークを提供します。

要約(オリジナル)

What kind of internal mechanisms might Transformers use to conduct fluid, natural-sounding conversations? Prior work has illustrated by construction how Transformers can solve various synthetic tasks, such as sorting a list or recognizing formal languages, but it remains unclear how to extend this approach to a conversational setting. In this work, we propose using ELIZA, a classic rule-based chatbot, as a setting for formal, mechanistic analysis of Transformer-based chatbots. ELIZA allows us to formally model key aspects of conversation, including local pattern matching and long-term dialogue state tracking. We first present a theoretical construction of a Transformer that implements the ELIZA chatbot. Building on prior constructions, particularly those for simulating finite-state automata, we show how simpler mechanisms can be composed and extended to produce more sophisticated behavior. Next, we conduct a set of empirical analyses of Transformers trained on synthetically generated ELIZA conversations. Our analysis illustrates the kinds of mechanisms these models tend to prefer–for example, models favor an induction head mechanism over a more precise, position-based copying mechanism; and using intermediate generations to simulate recurrent data structures, akin to an implicit scratchpad or Chain-of-Thought. Overall, by drawing an explicit connection between neural chatbots and interpretable, symbolic mechanisms, our results provide a new framework for the mechanistic analysis of conversational agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google