Structural Priming Demonstrates Abstract Grammatical Representations in Multilingual Language Models

要約

品詞や文法パターンなどの抽象的な文法知識は、人間の言語一般化能力の鍵となります。
しかし、大規模な言語モデルにおける文法知識はどれほど抽象的なのでしょうか?
人文文献では、文法的抽象化の説得力のある証拠は構造的なプライミングから得られます。
前の文と同じ文法構造を共有する文は、より容易に処理および生成されます。
単一言語で刺激を使用する場合には交絡が存在するため、抽象化の証拠は、ある言語での構文構造の使用が別の言語での類似の構造をプライミングする、言語を超えた構造プライミングからさらに説得力があります。
私たちは大規模な言語モデルで言語横断構造プライミングを測定し、モデルの動作を、6 つの言語を対象とした 8 つの言語横断実験、および英語以外の 3 言語を対象とした 4 つの単言語構造プライミング実験からの人体実験結果と比較します。
私たちは、人間で見られるものと同様に機能するモデルで、抽象的な単一言語および言語を超えた文法表現の証拠を見つけます。
これらの結果は、多言語言語モデルの文法表現が言語間で類似しているだけでなく、異なる言語で作成されたテキストに因果的に影響を与える可能性があることを示しています。

要約(オリジナル)

Abstract grammatical knowledge – of parts of speech and grammatical patterns – is key to the capacity for linguistic generalization in humans. But how abstract is grammatical knowledge in large language models? In the human literature, compelling evidence for grammatical abstraction comes from structural priming. A sentence that shares the same grammatical structure as a preceding sentence is processed and produced more readily. Because confounds exist when using stimuli in a single language, evidence of abstraction is even more compelling from crosslingual structural priming, where use of a syntactic structure in one language primes an analogous structure in another language. We measure crosslingual structural priming in large language models, comparing model behavior to human experimental results from eight crosslingual experiments covering six languages, and four monolingual structural priming experiments in three non-English languages. We find evidence for abstract monolingual and crosslingual grammatical representations in the models that function similarly to those found in humans. These results demonstrate that grammatical representations in multilingual language models are not only similar across languages, but they can causally influence text produced in different languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google