Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models

要約

多言語の大規模事前トレーニング済み言語モデル (PLM) は、かなりの量の事実知識を保存することが示されていますが、言語によって大きなばらつきが観察されます。
異なる言語背景を持つユーザーが同じモデルから一貫したフィードバックを確実に取得できるようにするという最終目標を掲げて、さまざまな多言語 PLM における事実知識の言語間一貫性 (CLC) を研究しています。
この目的を達成するために、精度とは別に言語間での知識の一貫性を評価するためのランキングベースの一貫性 (RankC) 指標を提案します。
この指標を使用して、モデル レベルと言語ペア レベルの両方で CLC の決定要因の詳細な分析を実施します。
他の結果の中でも、モデル サイズを増やすと、ほとんどの言語で事実調査の精度が向上しますが、言語間の一貫性は向上しないことがわかりました。
最後に、モデル編集を通じて新しい事実の関連付けが PLM に挿入される場合の CLC に関するケーススタディを実施します。
英語で挿入された事実の小さなサンプルの結果から、新しい知識が英語の RankC スコアが高い言語にのみ伝達されるという明確なパターンが明らかになりました。

要約(オリジナル)

Multilingual large-scale Pretrained Language Models (PLMs) have been shown to store considerable amounts of factual knowledge, but large variations are observed across languages. With the ultimate goal of ensuring that users with different language backgrounds obtain consistent feedback from the same model, we study the cross-lingual consistency (CLC) of factual knowledge in various multilingual PLMs. To this end, we propose a Ranking-based Consistency (RankC) metric to evaluate knowledge consistency across languages independently from accuracy. Using this metric, we conduct an in-depth analysis of the determining factors for CLC, both at model level and at language-pair level. Among other results, we find that increasing model size leads to higher factual probing accuracy in most languages, but does not improve cross-lingual consistency. Finally, we conduct a case study on CLC when new factual associations are inserted in the PLMs via model editing. Results on a small sample of facts inserted in English reveal a clear pattern whereby the new piece of knowledge transfers only to languages with which English has a high RankC score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google