FonMTL: Towards Multitask Learning for the Fon Language

要約

平均 200 万人が話すフォン語は、オンラインでの存在感が限られており、既存のデータセット (ほんの数例です) があり、本当にリソースが少ないアフリカ言語です。
マルチタスク学習は、異なるが関連するタスク間で知識を共有することでモデルの汎化能力を向上させることを目的とした学習パラダイムです。これは、データが非常に不足しているシナリオで普及する可能性があります。
この論文では、Fon 言語の自然言語処理におけるモデル機能を強化するための、マルチタスク学習への最初の探索的アプローチを紹介します。
具体的には、Fon の固有表現認識 (NER) と品詞タグ付け (POS) のタスクを調査します。
2 つの言語モデル ヘッドをエンコーダーとして利用して入力の共有表現を構築し、各タスクに関連する分類に線形層ブロックを使用します。
Fon の NER および POS タスクに関する結果は、単一タスクで微調整されたいくつかの多言語の事前トレーニング済み言語モデルと比較して、競合する (またはそれ以上の) パフォーマンスを示しています。
さらに、2 つの異なる損失組み合わせ戦略の効率を活用するためにいくつかのアブレーション研究を実行し、我々のケースでは等しい損失重み付けアプローチが最も効果的であることを発見しました。
私たちのコードは https://github.com/bonaventuredossou/multitask_fon でオープンソース化されています。

要約(オリジナル)

The Fon language, spoken by an average 2 million of people, is a truly low-resourced African language, with a limited online presence, and existing datasets (just to name but a few). Multitask learning is a learning paradigm that aims to improve the generalization capacity of a model by sharing knowledge across different but related tasks: this could be prevalent in very data-scarce scenarios. In this paper, we present the first explorative approach to multitask learning, for model capabilities enhancement in Natural Language Processing for the Fon language. Specifically, we explore the tasks of Named Entity Recognition (NER) and Part of Speech Tagging (POS) for Fon. We leverage two language model heads as encoders to build shared representations for the inputs, and we use linear layers blocks for classification relative to each task. Our results on the NER and POS tasks for Fon, show competitive (or better) performances compared to several multilingual pretrained language models finetuned on single tasks. Additionally, we perform a few ablation studies to leverage the efficiency of two different loss combination strategies and find out that the equal loss weighting approach works best in our case. Our code is open-sourced at https://github.com/bonaventuredossou/multitask_fon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google