Adapting to the Low-Resource Double-Bind: Investigating Low-Compute Methods on Low-Resource African Languages

要約

多くの自然言語処理 (NLP) タスクは、事前に大規模にトレーニングされた言語モデルを使用しますが、これは計算コストが高くなります。
しかし、アフリカ言語のデータ不足の問題に加えて、高い計算リソースへのアクセスは、これらの言語の研究実験に対する真の障壁となっています。
この作業では、この低リソースのダブルバインドのコンテキストで、言語アダプターなどの低計算アプローチの適用可能性を探ります。
私たちは次の質問に答えるつもりです: 言語アダプターは、データと計算によって二重に束縛されている人々が有用なモデルを実際に構築できるようにしますか?
アフリカ言語の微調整実験を通じて、低リソースのアフリカ NLP への費用対効果の高いアプローチとしての有効性を評価します。
無料のコンピューティング リソースのみを使用して、私たちの結果は、言語アダプターが、コンピューティング リソースを大量に消費する大規模な事前トレーニング済み言語モデルに匹敵するパフォーマンスを達成することを示しています。
これにより、言語アダプターの機能を最大限に活用するためのさらなる実験と調査への扉が開かれます。

要約(オリジナル)

Many natural language processing (NLP) tasks make use of massively pre-trained language models, which are computationally expensive. However, access to high computational resources added to the issue of data scarcity of African languages constitutes a real barrier to research experiments on these languages. In this work, we explore the applicability of low-compute approaches such as language adapters in the context of this low-resource double-bind. We intend to answer the following question: do language adapters allow those who are doubly bound by data and compute to practically build useful models? Through fine-tuning experiments on African languages, we evaluate their effectiveness as cost-effective approaches to low-resource African NLP. Using solely free compute resources, our results show that language adapters achieve comparable performances to massive pre-trained language models which are heavy on computational resources. This opens the door to further experimentation and exploration on full-extent of language adapters capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google