What do Transformers Know about Government?

要約

この論文では、言語の特徴についてどのような洞察が得られ、自然言語の構造についてどのような知識がトランスフォーマー言語モデルのエンコーディングから得られるかを調査します。特に、BERT が文内の構成要素間の統治関係をどのようにエンコードするかを調査します。
私たちはいくつかの精査分類器と、形態学的に豊富な 2 つの言語からのデータを使用します。
私たちの実験によると、政府に関する情報はすべての変圧器層にわたってエンコードされていますが、主にモデルの初期層でエンコードされています。
どちらの言語でも、少数のアテンションヘッドが政府関係に関する十分な情報をエンコードすることで、トレーニング データでは決して見られなかった、これまで知られていなかった新しいタイプの政府を発見できる分類器をトレーニングできることがわかりました。
現在、文法構築に取り組んでいる研究者コミュニティ、特に政府にはデータが不足しています。
私たちは、政府銀行を公開します。これは、実験で使用した言語の数千の補題に対する政府関係を定義するデータセットです。

要約(オリジナル)

This paper investigates what insights about linguistic features and what knowledge about the structure of natural language can be obtained from the encodings in transformer language models.In particular, we explore how BERT encodes the government relation between constituents in a sentence. We use several probing classifiers, and data from two morphologically rich languages. Our experiments show that information about government is encoded across all transformer layers, but predominantly in the early layers of the model. We find that, for both languages, a small number of attention heads encode enough information about the government relations to enable us to train a classifier capable of discovering new, previously unknown types of government, never seen in the training data. Currently, data is lacking for the research community working on grammatical constructions, and government in particular. We release the Government Bank — a dataset defining the government relations for thousands of lemmas in the languages in our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google