In-Context Learning for Extreme Multi-Label Classification

要約

言語モデル (LM) には正確なクラスやクラスの割り当て方法に関する事前知識が不足している可能性があり、すべてのクラスをデモンストレーションするのは一般に不可能であるため、数千のクラスによるマルチラベル分類問題をコンテキスト内学習だけで解決するのは困難です。
プロンプト。
我々は、このような問題に効率的に取り組むために、LM とレトリーバーの間の複数ステップの対話を定義する一般的なプログラム $\texttt{Infer–Retrieve–Rank}$ を提案します。
このプログラムは、宣言的な方法でコンテキスト内システムを指定する $\texttt{DSPy}$ プログラミング モデルを使用して実装し、$\texttt{DSPy}$ オプティマイザーを使用して、わずか数十個のデータセットをブートストラップすることで特定のデータセットに合わせて調整します。
ショット例。
当社の主要な極限分類プログラムは、タスクごとに個別に最適化されており、3 つのベンチマーク (HOUSE、TECH、TECHWOLF) にわたって最先端の結果を達成しています。
同じプログラムを特性の大きく異なるベンチマークに適用し、同様に競争力のあるパフォーマンスを実現します (BioDEX)。
以前の研究とは異なり、私たちが提案するソリューションは微調整を必要とせず、新しいタスクに簡単に適用でき、迅速なエンジニアリングを軽減し、必要なラベル付きのサンプルは数十個だけです。
私たちのコードは https://github.com/KarelDO/xmc.dspy で公開されています。

要約(オリジナル)

Multi-label classification problems with thousands of classes are hard to solve with in-context learning alone, as language models (LMs) might lack prior knowledge about the precise classes or how to assign them, and it is generally infeasible to demonstrate every class in a prompt. We propose a general program, $\texttt{Infer–Retrieve–Rank}$, that defines multi-step interactions between LMs and retrievers to efficiently tackle such problems. We implement this program using the $\texttt{DSPy}$ programming model, which specifies in-context systems in a declarative manner, and use $\texttt{DSPy}$ optimizers to tune it towards specific datasets by bootstrapping only tens of few-shot examples. Our primary extreme classification program, optimized separately for each task, attains state-of-the-art results across three benchmarks (HOUSE, TECH, TECHWOLF). We apply the same program to a benchmark with vastly different characteristics and attain competitive performance as well (BioDEX). Unlike prior work, our proposed solution requires no finetuning, is easily applicable to new tasks, alleviates prompt engineering, and requires only tens of labeled examples. Our code is public at https://github.com/KarelDO/xmc.dspy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google