Character-level Chinese Backpack Language Models

要約

Backpack は、予測をトークン センス コンポーネントの加重合計に分解することで、英語モデリングの解釈可能性を向上させることが示されている Transformer の代替手段です。
ただし、Backpacks がトークン定義の意味に依存しているため、英語以外の言語に対する可能性について疑問が生じます。英語では、サブワードのトークン化によって語彙項目の合理的な近似が提供されます。
この研究では、単語が多くの文字で構成されることが多い、文字トークン化された中国語で Backpack 言語モデルをトレーニング、評価、解釈、制御します。
私たちの (1 億 3400 万パラメーター) 中国語バックパック言語モデルは (1 億 400 万パラメーター) の Transformer と同等に機能し、対数加算的に構成されて単語の意味を形成する豊富な文字レベルの意味を学習することがわかりました。
SimLex スタイルの語彙意味評価では、Backpack 文字感覚の単純な平均が、Transformer からの入力埋め込みよりも優れています。
複雑な複数文字の意味は、文脈全体で一貫して同じ文字ごとの意味の重みを使用することによって形成されることが多いことがわかりました。
制御による解釈可能性の探求により、バックパックのジェンダーバイアスの原因を特定のキャラクターの感覚に特定し、バイアスを軽減するために介入できることを示します。

要約(オリジナル)

The Backpack is a Transformer alternative shown to improve interpretability in English language modeling by decomposing predictions into a weighted sum of token sense components. However, Backpacks’ reliance on token-defined meaning raises questions as to their potential for languages other than English, a language for which subword tokenization provides a reasonable approximation for lexical items. In this work, we train, evaluate, interpret, and control Backpack language models in character-tokenized Chinese, in which words are often composed of many characters. We find that our (134M parameter) Chinese Backpack language model performs comparably to a (104M parameter) Transformer, and learns rich character-level meanings that log-additively compose to form word meanings. In SimLex-style lexical semantic evaluations, simple averages of Backpack character senses outperform input embeddings from a Transformer. We find that complex multi-character meanings are often formed by using the same per-character sense weights consistently across context. Exploring interpretability-through control, we show that we can localize a source of gender bias in our Backpacks to specific character senses and intervene to reduce the bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google