Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study

要約

テキスト分類は、自然言語処理 (NLP) で長年にわたって研究されてきた研究分野です。
NLP を複数のドメインに適応させると、テキスト分類に多くの新たな課題が生じますが、その 1 つは長い文書の分類です。
最先端の変換モデルはテキスト分類において優れた結果を提供しますが、そのほとんどには入力シーケンスの最大シーケンス長に制限があります。
トランスフォーマー モデルの大部分はトークン数が 512 に制限されているため、長い文書の分類の問題に苦労します。
この研究では、よく知られている BERT および Longformer アーキテクチャと結果を比較しながら、長い文書の分類にモデル融合を採用する方法を検討します。

要約(オリジナル)

Text classification is an area of research which has been studied over the years in Natural Language Processing (NLP). Adapting NLP to multiple domains has introduced many new challenges for text classification and one of them is long document classification. While state-of-the-art transformer models provide excellent results in text classification, most of them have limitations in the maximum sequence length of the input sequence. The majority of the transformer models are limited to 512 tokens, and therefore, they struggle with long document classification problems. In this research, we explore on employing Model Fusing for long document classification while comparing the results with well-known BERT and Longformer architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google