LinguAlchemy: Fusing Typological and Geographical Elements for Unseen Language Generalization

要約

事前トレーニング済み言語モデル (PLM) は、複数のタスクと言語に対して顕著な一般化を示しています。
それにもかかわらず、目に見えない言語に対する PLM の一般化は不十分であり、その結果、言語のパフォーマンスが大幅に低下したり、ランダムなベースラインに匹敵する無意味な応答が生成されることさえあります。
この制限は PLM の長年の問題であり、言語モデリング テクノロジへの多様性と平等なアクセスの問題を引き起こしています。
この研究では、LinguAlchemy を導入することでこの制限を解決します。LinguAlchemy は、類型的、地理的、系統発生的な言語のさまざまな側面を組み込んで、対応する言語学的制約をより適切に特徴付けるために PLM の結果の表現を制約します。
LinguAlchemy は、完全に微調整されたモデルと比較して、未知の言語における mBERT と XLM-R の精度パフォーマンスをそれぞれ最大 18% と最大 2% 大幅に向上させ、高度な未知の言語の一般化を示します。
さらに、言語正則化の重みを自動的に調整してハイパーパラメータ検索の必要性を軽減する、LinguAlchemy の拡張機能である AlchemyScale と AlchemyTune を紹介します。
LinguAlchemy は、PLM の包括性とアクセシビリティを向上させるために不可欠な、目に見えない言語へのより優れた言語間の一般化を可能にします。

要約(オリジナル)

Pretrained language models (PLMs) have shown remarkable generalization toward multiple tasks and languages. Nonetheless, the generalization of PLMs towards unseen languages is poor, resulting in significantly worse language performance, or even generating nonsensical responses that are comparable to a random baseline. This limitation has been a longstanding problem of PLMs raising the problem of diversity and equal access to language modeling technology. In this work, we solve this limitation by introducing LinguAlchemy, a regularization technique that incorporates various aspects of languages covering typological, geographical, and phylogenetic constraining the resulting representation of PLMs to better characterize the corresponding linguistics constraints. LinguAlchemy significantly improves the accuracy performance of mBERT and XLM-R on unseen languages by ~18% and ~2%, respectively compared to fully finetuned models and displaying a high degree of unseen language generalization. We further introduce AlchemyScale and AlchemyTune, extension of LinguAlchemy which adjusts the linguistic regularization weights automatically, alleviating the need for hyperparameter search. LinguAlchemy enables better cross-lingual generalization to unseen languages which is vital for better inclusivity and accessibility of PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google