Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation

要約

プロンプト チューニングは、大規模言語モデル (LLM) と呼ばれることが多い事前トレーニング済み言語モデル (PLM) を微調整するためのスケーラブルでコスト効率の高い方法として浮上しています。
この調査では、プロンプト チューニングとマルチラベル テキスト分類のベースラインのパフォーマンスと計算効率をベンチマークします。
これは、投資会社独自の業界分類に企業を分類するという困難なタスクに適用され、テーマ別投資戦略をサポートします。
テキスト対テキストの分類は、タスク固有の分類ヘッドよりも優れたパフォーマンスを発揮すると頻繁に報告されていますが、各ラベルが複数のトークンで構成される複数ラベルの分類問題に適用すると、いくつかの制限があります。 (a) 生成されたラベルは、
ラベル分類法。
(b) 微調整プロセスには順列の不変性がなく、提供されたラベルの順序に影響されます。
(c) モデルは、適切な信頼スコアではなく、二者択一の決定を提供します。
制限 (a) は、トライ検索を使用した制約付きデコードを適用することで解決され、分類パフォーマンスがわずかに向上します。
すべての制限 (a)、(b)、および (c) は、PLM の言語ヘッドを Prompt Tuned Embedding Classification (PTEC) と呼ばれる分類ヘッドに置き換えることによって対処されます。
これにより、パフォーマンスが大幅に向上すると同時に、推論中の計算コストも削減されます。
私たちの産業用途では、トレーニング データは有名な企業に偏っています。
このモデルのパフォーマンスは、有名な企業でもあまり知られていない企業でも一貫していることが確認されています。
私たちの全体的な結果は、強力な汎用化能力を備えた PLM の時代においても、最先端の手法をドメイン固有のタスクに適応させる必要が引き続きあることを示しています。
コードベースとベンチマーク データセットは https://github.com/EQTPartners/PTEC でリリースされています。

要約(オリジナル)

Prompt Tuning is emerging as a scalable and cost-effective method to fine-tune Pretrained Language Models (PLMs), which are often referred to as Large Language Models (LLMs). This study benchmarks the performance and computational efficiency of Prompt Tuning and baselines for multi-label text classification. This is applied to the challenging task of classifying companies into an investment firm’s proprietary industry taxonomy, supporting their thematic investment strategy. Text-to-text classification is frequently reported to outperform task-specific classification heads, but has several limitations when applied to a multi-label classification problem where each label consists of multiple tokens: (a) Generated labels may not match any label in the label taxonomy; (b) The fine-tuning process lacks permutation invariance and is sensitive to the order of the provided labels; (c) The model provides binary decisions rather than appropriate confidence scores. Limitation (a) is addressed by applying constrained decoding using Trie Search, which slightly improves classification performance. All limitations (a), (b), and (c) are addressed by replacing the PLM’s language head with a classification head, which is referred to as Prompt Tuned Embedding Classification (PTEC). This improves performance significantly, while also reducing computational costs during inference. In our industrial application, the training data is skewed towards well-known companies. We confirm that the model’s performance is consistent across both well-known and less-known companies. Our overall results indicate the continuing need to adapt state-of-the-art methods to domain-specific tasks, even in the era of PLMs with strong generalization abilities. We release our codebase and a benchmarking dataset at https://github.com/EQTPartners/PTEC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google