From Haystack to Needle: Label Space Reduction for Zero-shot Classification

要約

ラベルスペース削減（LSR）を提示します。これは、大規模な言語モデル（LLMS）のゼロショット分類パフォーマンスを改善するための新しい方法です。
LSRは、候補クラスを体系的にランキングおよび削減することにより、分類ラベルスペースを繰り返し改良し、モデルが最も関連性の高いオプションに集中できるようにします。
データ駆動型モデルの統計学習能力を使用して非標識データを活用することにより、LSRはテスト時にラベルスペース表現を動的に最適化します。
7つのベンチマークにわたる実験は、LSRがLLAMA-3.1-70Bで平均7.0％（最大14.2％）、標準ゼロと比較してClaude-3.5-Sonnetで3.3％（最大11.1％）を改善することを示しています。
– ショット分類ベースライン。
各反復で追加のLLMコールを必要とするLSRの計算オーバーヘッドを減らすために、モデルを確率分類子に蒸留し、効率的な推論を可能にします。

要約(オリジナル)

We present Label Space Reduction (LSR), a novel method for improving zero-shot classification performance of Large Language Models (LLMs). LSR iteratively refines the classification label space by systematically ranking and reducing candidate classes, enabling the model to concentrate on the most relevant options. By leveraging unlabeled data with the statistical learning capabilities of data-driven models, LSR dynamically optimizes the label space representation at test time. Our experiments across seven benchmarks demonstrate that LSR improves macro-F1 scores by an average of 7.0% (up to 14.2%) with Llama-3.1-70B and 3.3% (up to 11.1%) with Claude-3.5-Sonnet compared to standard zero-shot classification baselines. To reduce the computational overhead of LSR, which requires an additional LLM call at each iteration, we propose distilling the model into a probabilistic classifier, allowing for efficient inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google