DLAMA: A Framework for Curating Culturally Diverse Facts for Probing the Knowledge of Pretrained Language Models

要約

事前トレーニングされた言語モデルの事実の知識を評価するために、いくつかのベンチマーク データセットがリリースされました。
これらのベンチマーク (LAMA、ParaRel など) は主に英語で開発され、後に翻訳されて新しい多言語バージョン (mLAMA、mParaRel など) が作成されます。
これらの多言語ベンチマークの結果は、多言語モデルから事実を思い出すために英語のプロンプトを使用すると、通常、英語以外のプロンプトを使用するよりも大幅に優れた一貫したパフォーマンスが得られることを示唆しています。
私たちの分析は、mLAMA が西側諸国の事実に偏っており、調査モデルの公平性に影響を与える可能性があることを示しています。
私たちは、文化的に多様なウィキデータから事実のトリプルをキュレーションするための新しいフレームワークを提案します。
新しいベンチマーク DLAMA-v1 は、20 の関係述語からの合計 78,259 のトリプルを含む、対照的な文化の 3 つのペアからの事実のトリプルで構築されています。
3 つのペアは、それぞれ (アラブと西洋)、(アジアと西洋)、(南米と西洋) の国を表す事実で構成されます。
よりバランスの取れたベンチマーク (DLAMA-v1) があることは、mBERT が非西洋のものよりも西洋の事実に対してより優れたパフォーマンスを発揮する一方で、アラビア語、英語、および韓国語の単言語モデルは文化的に近い事実に対してより優れたパフォーマンスを発揮する傾向があることを裏付けています。
さらに、単言語モデルと多言語モデルはどちらも、たとえ予測が間違っていたとしても、文化的または地理的に正しいラベルに関連する予測を行う傾向があります。

要約(オリジナル)

A few benchmarking datasets have been released to evaluate the factual knowledge of pretrained language models. These benchmarks (e.g., LAMA, and ParaRel) are mainly developed in English and later are translated to form new multilingual versions (e.g., mLAMA, and mParaRel). Results on these multilingual benchmarks suggest that using English prompts to recall the facts from multilingual models usually yields significantly better and more consistent performance than using non-English prompts. Our analysis shows that mLAMA is biased toward facts from Western countries, which might affect the fairness of probing models. We propose a new framework for curating factual triples from Wikidata that are culturally diverse. A new benchmark DLAMA-v1 is built of factual triples from three pairs of contrasting cultures having a total of 78,259 triples from 20 relation predicates. The three pairs comprise facts representing the (Arab and Western), (Asian and Western), and (South American and Western) countries respectively. Having a more balanced benchmark (DLAMA-v1) supports that mBERT performs better on Western facts than non-Western ones, while monolingual Arabic, English, and Korean models tend to perform better on their culturally proximate facts. Moreover, both monolingual and multilingual models tend to make a prediction that is culturally or geographically relevant to the correct label, even if the prediction is wrong.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google