Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study

要約

本研究では、非英語コーパスにおける道徳的基盤（MF）を測定するための計算論的アプローチを探求する。ほとんどのリソースは主に英語用に開発されているため、道徳的基礎理論の言語横断的な応用は依然として限定的である。本稿では中国語をケーススタディとして、非英語テキストにおけるMFの測定において、機械翻訳テキスト、現地語辞書、多言語言語モデル、大規模言語モデル（LLM）に英語リソースを適用することの有効性を評価する。その結果、機械翻訳とローカル辞書のアプローチでは、複雑なモラル評価には不十分であり、しばしば文化的情報が大幅に失われることが示された。対照的に、多言語モデルとLLMは、転移学習によって信頼性の高い言語横断的な性能を示し、LLMはデータ効率の点で優れている。重要なことは、この研究により、自動化されたMF評価の人間による検証の必要性が強調されたことである。なぜなら、最先端のモデルは、言語横断的な測定における文化的ニュアンスを見落とす可能性があるからである。この研究結果は、言語横断的なMF測定やその他の複雑な多言語演繹的コーディング作業におけるLLMの可能性を強調するものである。

要約(オリジナル)

This study explores computational approaches for measuring moral foundations (MFs) in non-English corpora. Since most resources are developed primarily for English, cross-linguistic applications of moral foundation theory remain limited. Using Chinese as a case study, this paper evaluates the effectiveness of applying English resources to machine translated text, local language lexicons, multilingual language models, and large language models (LLMs) in measuring MFs in non-English texts. The results indicate that machine translation and local lexicon approaches are insufficient for complex moral assessments, frequently resulting in a substantial loss of cultural information. In contrast, multilingual models and LLMs demonstrate reliable cross-language performance with transfer learning, with LLMs excelling in terms of data efficiency. Importantly, this study also underscores the need for human-in-the-loop validation of automated MF assessment, as the most advanced models may overlook cultural nuances in cross-language measurements. The findings highlight the potential of LLMs for cross-language MF measurements and other complex multilingual deductive coding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL