Representing Rule-based Chatbots with Transformers

要約

Transformer ベースのチャットボットは流暢で自然な会話を行うことができますが、その動作の根底にあるメカニズムについては十分な理解がありません。
これまでの研究では、正規表現や Dyck 言語などのさまざまな合成言語タスクや形式言語タスク用の Transformer を構築することによって、Transformers を理解するためのボトムアップ アプローチが取られてきました。
ただし、このアプローチを拡張して、より自然な会話エージェントを理解する方法は明らかではありません。
この作業では、古典的なルールベースのチャットボットである ELIZA プログラムを実装する Transformer を構築することで、この方向への一歩を踏み出します。
ELIZA は、ローカル パターン マッチングと長期的な対話状態の追跡の両方を含む、会話設定の特有の課題のいくつかを示しています。
私たちは、特に有限状態オートマトンをシミュレートするための以前の研究の構築に基づいて、より洗練された動作を生み出すために、より単純な構築がどのように構成および拡張できるかを示します。
次に、合成的に生成された ELIZA 会話のデータセットでトランスフォーマーをトレーニングし、モデルが学習するメカニズムを調査します。
私たちの分析は、これらのモデルが好む傾向にあるメカニズムの種類を示しています。たとえば、モデルは、より正確な位置ベースのコピー メカニズムよりも誘導ヘッド メカニズムを好みます。
また、中間世代を使用して、ELIZA のメモリ メカニズムのような反復的なデータ構造をシミュレートします。
全体として、ニューラル チャットボットと解釈可能な記号メカニズムの間の明示的な接続を描くことにより、私たちの結果は、会話エージェントのメカニズム分析のための新しい設定を提供します。

要約(オリジナル)

Transformer-based chatbots can conduct fluent, natural-sounding conversations, but we have limited understanding of the mechanisms underlying their behavior. Prior work has taken a bottom-up approach to understanding Transformers by constructing Transformers for various synthetic and formal language tasks, such as regular expressions and Dyck languages. However, it is not obvious how to extend this approach to understand more naturalistic conversational agents. In this work, we take a step in this direction by constructing a Transformer that implements the ELIZA program, a classic, rule-based chatbot. ELIZA illustrates some of the distinctive challenges of the conversational setting, including both local pattern matching and long-term dialog state tracking. We build on constructions from prior work — in particular, for simulating finite-state automata — showing how simpler constructions can be composed and extended to give rise to more sophisticated behavior. Next, we train Transformers on a dataset of synthetically generated ELIZA conversations and investigate the mechanisms the models learn. Our analysis illustrates the kinds of mechanisms these models tend to prefer — for example, models favor an induction head mechanism over a more precise, position based copying mechanism; and using intermediate generations to simulate recurrent data structures, like ELIZA’s memory mechanisms. Overall, by drawing an explicit connection between neural chatbots and interpretable, symbolic mechanisms, our results offer a new setting for mechanistic analysis of conversational agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google