Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models

要約

実際の自然言語処理アプリケーションの多くのシナリオでは、実践者は予測パフォーマンスを最大化することを目指すだけでなく、モデル予測の忠実な説明も求めます。
特徴帰属手法 (FA) によって与えられる理論的根拠と重要度の分布により、入力のさまざまな部分が予測にどのように寄与するかについての洞察が得られます。
これまでの研究では、主に単一言語英語モデルの文脈で、さまざまな要因が忠実度にどのように影響するかを調査してきました。
一方で、多言語モデルと単言語モデルの間の FA 忠実度の違いはまだ調査されていません。
5 つの言語と 5 つの人気のある FA を対象とした広範な実験では、FA の忠実度が多言語モデルと単言語モデルの間で異なることが示されました。
多言語モデルが大きくなるほど、対応する単言語モデルと比較して FA の忠実度が低くなることがわかりました。さらなる分析により、忠実度の差異はモデルトークナイザー間の違いによって潜在的に引き起こされることが示されました。
私たちのコードは https://github.com/casszhao/multilingual-faith から入手できます。

要約(オリジナル)

In many real natural language processing application scenarios, practitioners not only aim to maximize predictive performance but also seek faithful explanations for the model predictions. Rationales and importance distribution given by feature attribution methods (FAs) provide insights into how different parts of the input contribute to a prediction. Previous studies have explored how different factors affect faithfulness, mainly in the context of monolingual English models. On the other hand, the differences in FA faithfulness between multilingual and monolingual models have yet to be explored. Our extensive experiments, covering five languages and five popular FAs, show that FA faithfulness varies between multilingual and monolingual models. We find that the larger the multilingual model, the less faithful the FAs are compared to its counterpart monolingual models.Our further analysis shows that the faithfulness disparity is potentially driven by the differences between model tokenizers. Our code is available: https://github.com/casszhao/multilingual-faith.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google