Can Large Language Models Serve as Effective Classifiers for Hierarchical Multi-Label Classification of Scientific Documents at Industrial Scale?

要約

私たちは、数十万の文書を数千の動的ラベルにわたって分類する必要がある、科学文書の階層的マルチラベル分類 (HMC) のタスクに産業規模で取り組んでいます。
科学出版物の急速な成長には、スケーラブルで効率的な分類方法が必要ですが、新しいカテゴリが導入され、既存のカテゴリが統合され、古いカテゴリが廃止されるなど、分類法の進化する性質によってさらに複雑になります。
従来の機械学習アプローチは、分類法の更新ごとにコストのかかる再トレーニングが必要ですが、ラベル付きデータの収集とモデルの適応にかかるオーバーヘッドが大きいため、現実的ではなくなりました。
大規模言語モデル (LLM) は、複数ラベル分類などの複雑なタスクにおいて大きな可能性を示しています。
ただし、ラベルを大規模で動的な分類法に適用すると、膨大な数のラベルが LLM の入力制限を超える可能性があるため、特有の課題が生じます。
この論文では、これらの課題を克服するために、LLM の長所と高密度検索技術を組み合わせた新しい方法を紹介します。
私たちのアプローチは、リアルタイムのラベル割り当てにゼロショット HMC を活用することで再トレーニングを回避します。
私たちは、複数の分野にわたるプレプリントの大規模なリポジトリである SSRN での手法の有効性を評価し、分類精度とコスト効率の両方が大幅に向上していることを実証しました。
この研究は、動的分類法に合わせた評価フレームワークを開発し、コードを公開することにより、文書分類に LLM を適用する上で重要な洞察を提供します。この場合、クラスの数は大規模な分類法のノード数に対応し、産業規模で実現されます。

要約(オリジナル)

We address the task of hierarchical multi-label classification (HMC) of scientific documents at an industrial scale, where hundreds of thousands of documents must be classified across thousands of dynamic labels. The rapid growth of scientific publications necessitates scalable and efficient methods for classification, further complicated by the evolving nature of taxonomies–where new categories are introduced, existing ones are merged, and outdated ones are deprecated. Traditional machine learning approaches, which require costly retraining with each taxonomy update, become impractical due to the high overhead of labelled data collection and model adaptation. Large Language Models (LLMs) have demonstrated great potential in complex tasks such as multi-label classification. However, applying them to large and dynamic taxonomies presents unique challenges as the vast number of labels can exceed LLMs’ input limits. In this paper, we present novel methods that combine the strengths of LLMs with dense retrieval techniques to overcome these challenges. Our approach avoids retraining by leveraging zero-shot HMC for real-time label assignment. We evaluate the effectiveness of our methods on SSRN, a large repository of preprints spanning multiple disciplines, and demonstrate significant improvements in both classification accuracy and cost-efficiency. By developing a tailored evaluation framework for dynamic taxonomies and publicly releasing our code, this research provides critical insights into applying LLMs for document classification, where the number of classes corresponds to the number of nodes in a large taxonomy, at an industrial scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google