Linear Classifier: An Often-Forgotten Baseline for Text Classification

要約

BERT などの大規模な事前トレーニング済み言語モデルは、テキスト分類の一般的なソリューションです。
これらの高度なメソッドのパフォーマンスが優れているため、現在では、それらを数エポック間直接トレーニングし、取得したモデルをデプロイすることがよく行われています。
この意見書では、この方法では満足のいく結果が得られる場合しかない可能性があることを指摘しています。
私たちは、高度な手法とともに、バッグオブワード特徴に対して線形分類器のような単純なベースラインを実行することの重要性を主張します。
まず、多くのテキスト データに対して、線形手法は優れたパフォーマンス、高効率、堅牢性を示します。
第 2 に、BERT などの高度なモデルは、適切に適用された場合にのみ最良の結果が得られる可能性があります。
シンプルなベースラインは、高度なモデルの結果が許容できるかどうかを確認するのに役立ちます。
私たちの実験結果はこれらの点を完全に裏付けています。

要約(オリジナル)

Large-scale pre-trained language models such as BERT are popular solutions for text classification. Due to the superior performance of these advanced methods, nowadays, people often directly train them for a few epochs and deploy the obtained model. In this opinion paper, we point out that this way may only sometimes get satisfactory results. We argue the importance of running a simple baseline like linear classifiers on bag-of-words features along with advanced methods. First, for many text data, linear methods show competitive performance, high efficiency, and robustness. Second, advanced models such as BERT may only achieve the best results if properly applied. Simple baselines help to confirm whether the results of advanced models are acceptable. Our experimental results fully support these points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google