Incubating Text Classifiers Following User Instruction with Nothing but LLM

要約

この論文では、任意のクラス定義 (つまり、ユーザーの指示) を与えてテキスト分類データを生成することを目的としています。これにより、人間による注釈や生のコーパスなしで小さなテキスト分類器をトレーニングできます。
先駆的な試みと比較すると、私たちが提案する Incubator は、複雑で相互に依存するクラス (例: 「教育者による TED トーク」と「その他」) さえも処理できる最初のフレームワークです。
具体的には、Incubator は、GPT-4 によるインコンテキスト拡張とともに、HuggingFace 上の分類データセットと記述から取得した命令からデータへのマッピングに基づいて最初に調整された LLM です。
次に、意味論的なテキスト埋め込みのクラスター中心を学習することで Incubator を改良し、世代間の均一性と意味論的な多様性を強調します。
LLM ベースの直接推論やプロンプト エンジニアリングによるトレーニング データ生成などの強力なベースラインを備えたさまざまな分類タスクに関して Incubator を比較します。
実験では、Incubator が (1) 従来のベンチマークで良好なパフォーマンスを発揮し、(2) ラベルの依存関係とユーザーの好みを考慮し、(3) 複数の分類子をインキュベートすることで論理テキスト マイニングを可能にすることができることを示しています。

要約(オリジナル)

In this paper, we aim to generate text classification data given arbitrary class definitions (i.e., user instruction), so one can train a small text classifier without any human annotation or raw corpus. Compared with pioneer attempts, our proposed Incubator is the first framework that can handle complicated and even mutually dependent classes (e.g., ‘TED Talk given by Educator’ and ‘Other’). Specifically, Incubator is an LLM firstly tuned on the instruction-to-data mappings that we obtained from classification datasets and descriptions on HuggingFace together with in-context augmentation by GPT-4. We then refine Incubator by learning on the cluster centers of semantic textual embeddings to emphasize the uniformity and semantic diversity in generations. We compare Incubator on various classification tasks with strong baselines such as direct LLM-based inference and training data generation by prompt engineering. Experiments show Incubator is able to (1) perform well on traditional benchmarks, (2) take label dependency and user preference into consideration, and (3) enable logical text mining by incubating multiple classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google