Pushing The Limit of LLM Capacity for Text Classification

要約

多数の下流の NLP タスクにわたって大規模言語モデル (LLM) によって実証される並外れた有効性により、テキスト分類の今後の研究の価値は課題と不確実性に直面しています。
タスクの境界が徐々に薄れつつあるこのオープンエンド型言語モデリングの時代では、差し迫った疑問が浮上しています。LLM の最大限の恩恵を受けて、テキスト分類は大幅に進歩したのでしょうか?
この質問に答えるために、強力な基本学習器のプールを再帰的にアンサンブルすることによって特殊なテキスト分類 LLM を生成するように調整された適応ブースティング フレームワークである RGPT を提案します。
基本学習器は、トレーニング サンプルの分布を適応的に調整し、それらを使用して LLM を繰り返し微調整することによって構築されます。
このような基本学習器は、前の学習器からの履歴予測を繰り返し組み込むことによって、特殊なテキスト分類 LLM になるようにアンサンブルされます。
包括的な実証比較を通じて、RGPT が 4 つのベンチマークで 8 つの SOTA PLM および 7 つの SOTA LLM を平均 1.36% 大幅に上回っていることがわかります。
さらなる評価実験では、人間の分類よりも RGPT を明らかに上回っていることが示されています。

要約(オリジナル)

The value of text classification’s future research has encountered challenges and uncertainties, due to the extraordinary efficacy demonstrated by large language models (LLMs) across numerous downstream NLP tasks. In this era of open-ended language modeling, where task boundaries are gradually fading, an urgent question emerges: have we made significant advances in text classification under the full benefit of LLMs? To answer this question, we propose RGPT, an adaptive boosting framework tailored to produce a specialized text classification LLM by recurrently ensembling a pool of strong base learners. The base learners are constructed by adaptively adjusting the distribution of training samples and iteratively fine-tuning LLMs with them. Such base learners are then ensembled to be a specialized text classification LLM, by recurrently incorporating the historical predictions from the previous learners. Through a comprehensive empirical comparison, we show that RGPT significantly outperforms 8 SOTA PLMs and 7 SOTA LLMs on four benchmarks by 1.36% on average. Further evaluation experiments show a clear surpassing of RGPT over human classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google