Inducing Character-level Structure in Subword-based Language Models with Type-level Interchange Intervention Training

要約

文字レベルの操作 (スペル修正、算術演算、単語ゲームなど) を伴う言語タスクは、サブワード単位で動作するモデルにとって困難です。
これに対処するために、サブワードベースの言語モデル内で堅牢で解釈可能な文字表現を学習するための因果的介入フレームワークを開発します。
私たちの方法は、各文字を因果モデルの型付き変数として扱い、Geiger らの交換介入訓練法を適応させることによってそのような因果構造を学習します。
（2021年）。
さらに、意味やシーケンスレベルのコンテキストに応じて体系的に変化する一連の文字レベルのタスクを導入します。
文字レベルのモデルは、文字列反転などの純粋にフォームベースのタスクでは依然として最高のパフォーマンスを発揮しますが、コンテキストでのスペル修正や単語検索ゲームなど、形式、意味、コンテキストを融合したより複雑なタスクでは、私たちの方法が文字レベルのモデルよりも優れたパフォーマンスを発揮します。
標準的なサブワードベースのモデルと比較して、私たちのアプローチは、目に見えないトークンシーケンスに対する堅牢性も大幅に向上し、人間が解釈可能な文字の内部表現を実現します。

要約(オリジナル)

Language tasks involving character-level manipulations (e.g., spelling corrections, arithmetic operations, word games) are challenging for models operating on subword units. To address this, we develop a causal intervention framework to learn robust and interpretable character representations inside subword-based language models. Our method treats each character as a typed variable in a causal model and learns such causal structures by adapting the interchange intervention training method of Geiger et al. (2021). We additionally introduce a suite of character-level tasks that systematically vary in their dependence on meaning and sequence-level context. While character-level models still perform best on purely form-based tasks like string reversal, our method outperforms character-level models on more complex tasks that blend form, meaning, and context, such as spelling correction in context and word search games. Compared with standard subword-based models, our approach also significantly improves robustness on unseen token sequences and leads to human-interpretable internal representations of characters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google