Are We Really Making Much Progress? Bag-of-Words vs. Sequence vs. Graph vs. Hierarchy for Single- and Multi-Label Text Classification

要約

【タイトル】
単一ラベル・マルチラベルのテキスト分類におけるBag-of-Words、Sequence、Graph、Hierarchyの比較：私たちは本当に進歩しているのか？

【要約】
グラフニューラルネットワークの人気が再燃し、単一ラベル・マルチラベルのテキスト分類のためのグラフベースの手法が注目されている。しかし、これらのグラフベースの方法が標準的な機械学習手法や最新の事前学習された言語モデルと比較して有益であるかどうかは不明である。本研究では、Bag-of-Words、Sequence、Graph、Hierarchyの多様な手法を単一ラベル・マルチラベルのテキスト分類について比較する。5つの単一ラベルデータセットと7つのマルチラベルデータセットからの文献から得られた結果を集計し、自己実験も行った。その結果、単一ラベル・マルチラベルの分類タスクにおいて、グラフベースの方法がファインチューニングされた言語モデルを上回ることはなく、バッグオブワーズの多層パーセプトロン（MLP）よりも性能が劣ることもあることが明らかになった。これにより、過去数年間における新しいグラフベースの手法の開発に対する多大な努力と、それらがテキスト分類において約束することが問われている。私たちの広範な実験により、最新の専門的な進歩にもかかわらず、事前学習された言語モデルがテキスト分類において最先端であることが確認された。将来のテキスト分類の研究では、真の科学的な進歩を適切に評価するために、MLPなどの強力なベースラインに対して徹底的にテストすることが必要であると提言されている。

要約(オリジナル)

The popularity of graph neural networks has triggered a resurgence of graph-based methods for single-label and multi-label text classification. However, it is unclear whether these graph-based methods are beneficial compared to standard machine learning methods and modern pretrained language models. We compare a rich selection of bag-of-words, sequence-based, graph-based, and hierarchical methods for text classification. We aggregate results from the literature over 5 single-label and 7 multi-label datasets and run our own experiments. Our findings unambiguously demonstrate that for single-label and multi-label classification tasks, the graph-based methods fail to outperform fine-tuned language models and sometimes even perform worse than standard machine learning methods like multilayer perceptron (MLP) on a bag-of-words. This questions the enormous amount of effort put into the development of new graph-based methods in the last years and the promises they make for text classification. Given our extensive experiments, we confirm that pretrained language models remain state-of-the-art in text classification despite all recent specialized advances. We argue that future work in text classification should thoroughly test against strong baselines like MLPs to properly assess the true scientific progress. The source code is available: https://github.com/drndr/multilabel-text-clf

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI