Designing and Contextualising Probes for African Languages

要約

アフリカの言語の前提条件モデル(PLM)は継続的に改善されていますが、これらの進歩の背後にある理由は不明のままです。
この論文では、アフリカ言語に関する言語知識のためのPLMSの調査に関する最初の体系的な調査を提示します。
類型的に多様なアフリカ言語の6つのレイヤーワイズプローブをトレーニングして、言語機能がどのように分散されるかを分析します。
また、Masakhaposデータセットのプローブパフォーマンスを解釈する方法である制御タスクも設計します。
African Languagesがターゲット言語に関するより多くの言語情報をエンコードして、大規模な多言語PLMSよりもエンコードするためにPLMSが適合していることがわかります。
我々の結果は、トークンレベルの構文情報が中間層からラスト層に集中しているという以前の発見を再確認し、文レベルのセマンティック情報はすべての層に分配されています。
制御タスクとプロービングベースラインを通じて、パフォーマンスが記憶をプローブするのではなく、PLMの内部知識を反映していることを確認します。
私たちの研究では、確立された解釈性技術をアフリカ言語PLMに適用しています。
そうすることで、アクティブな学習や多言語適応などの戦略の成功の根底にある内部メカニズムを強調します。

要約(オリジナル)

Pretrained language models (PLMs) for African languages are continually improving, but the reasons behind these advances remain unclear. This paper presents the first systematic investigation into probing PLMs for linguistic knowledge about African languages. We train layer-wise probes for six typologically diverse African languages to analyse how linguistic features are distributed. We also design control tasks, a way to interpret probe performance, for the MasakhaPOS dataset. We find PLMs adapted for African languages to encode more linguistic information about target languages than massively multilingual PLMs. Our results reaffirm previous findings that token-level syntactic information concentrates in middle-to-last layers, while sentence-level semantic information is distributed across all layers. Through control tasks and probing baselines, we confirm that performance reflects the internal knowledge of PLMs rather than probe memorisation. Our study applies established interpretability techniques to African-language PLMs. In doing so, we highlight the internal mechanisms underlying the success of strategies like active learning and multilingual adaptation.

arxiv情報

著者 Wisdom Aduah,Francois Meyer
発行日 2025-05-20 16:18:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク