Leveraging BERT Language Model for Arabic Long Document Classification

要約

タイトル：アラビア語長文の分類におけるBERT言語モデルの活用

要約：
– アラビア語には多数の話者がおり、法律、医療、ニュースなどの分野でWeb上で多数のコンテンツが製作されているため、大量のテキストドキュメントが頻繁に出現する。
– これらのドキュメントを従来の学習モデルで分類することはしばしば実用的でなく、ドキュメントの長さが長いほど計算要件が持ち合わせられていないレベルにまで達するため、長文書の特有の性質に合わせてこれらのモデルをカスタマイズする必要がある。
– この論文では、長文アラビア語ドキュメントを分類するための2つのシンプルかつ効果的なモデルを提案する。
– また、2つの異なるモデル、LongformerとRoBERTを同じタスクに対して微調整し、モデルを比較する。
– 両方のモデルが2つの異なるデータセットでLongformerとRoBERTよりもこのタスクを上回る結果を出した。

要約(オリジナル)

Given the number of Arabic speakers worldwide and the notably large amount of content in the web today in some fields such as law, medicine, or even news, documents of considerable length are produced regularly. Classifying those documents using traditional learning models is often impractical since extended length of the documents increases computational requirements to an unsustainable level. Thus, it is necessary to customize these models specifically for long textual documents. In this paper we propose two simple but effective models to classify long length Arabic documents. We also fine-tune two different models-namely, Longformer and RoBERT, for the same task and compare their results to our models. Both of our models outperform the Longformer and RoBERT in this task over two different datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI