Cultural Compass: Predicting Transfer Learning Success in Offensive Language Detection with Cultural Features

要約

言語技術のユビキタス化に伴い、機械学習領域における文化的多様性を考慮する方向へのシフトが必要とされている。特に、攻撃的言語検出（Offensive Language Detection: OLD）のような文化的ニュアンスに大きく依存する主観的タスクではそうである。現在の理解では、これらのタスクは文化的価値観に大きく影響されることが強調されているが、文化的特徴がこのような主観的タスクの異文化間転移学習の成功を正確に予測できるかどうかを判断するには、顕著なギャップが存在する。そこで本研究では、文化的特徴と移籍学習の有効性との関連について検討した。その結果、文化的価値調査はOLDタスクにおける異文化間トランスファー学習の成功を予測する力を実際に持っていること、そしてそれは攻撃的単語距離を用いてさらに改善できることが明らかになった。これらの結果に基づき、我々はデータセットに文化的情報を統合することを提唱する。さらに、文化的適応性を高めるために、アンケート調査など文化的情報が豊富なデータソースを活用することを推奨する。我々の研究は、より包括的で文化的に敏感な言語技術の探求における一歩を意味する。

要約(オリジナル)

The increasing ubiquity of language technology necessitates a shift towards considering cultural diversity in the machine learning realm, particularly for subjective tasks that rely heavily on cultural nuances, such as Offensive Language Detection (OLD). Current understanding underscores that these tasks are substantially influenced by cultural values, however, a notable gap exists in determining if cultural features can accurately predict the success of cross-cultural transfer learning for such subjective tasks. Addressing this, our study delves into the intersection of cultural features and transfer learning effectiveness. The findings reveal that cultural value surveys indeed possess a predictive power for cross-cultural transfer learning success in OLD tasks and that it can be further improved using offensive word distance. Based on these results, we advocate for the integration of cultural information into datasets. Additionally, we recommend leveraging data sources rich in cultural information, such as surveys, to enhance cultural adaptability. Our research signifies a step forward in the quest for more inclusive, culturally sensitive language technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL