Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification

要約

階層的テキスト分類 (HTC) は広範なアプリケーションで重要なタスクですが、最近では少数ショット HTC への関心が高まっています。
大規模言語モデル (LLM) を使用したインコンテキスト学習 (ICL) は、少数ショット学習では大きな成功を収めていますが、拡張的な階層ラベル セットと非常に曖昧なラベルのため、HTC にとってはそれほど効果的ではありません。
この作業では、少数ショット HTC 用の LLM を備えた最初の ICL ベースのフレームワークを紹介します。
私たちは検索データベースを利用して関連するデモンストレーションを特定し、反復ポリシーを利用して多層の階層ラベルを管理します。
特に、入力テキストの HTC ラベル認識表現を検索データベースに装備します。これは、マスク言語モデリング (MLM)、レイヤーごとの分類 (CLS、特に HTC) を使用した事前トレーニング済み言語モデルでの継続的なトレーニングによって実現されます。
新しい発散対比学習 (DCL、主に隣接する意味的に類似したラベル用) の目標。
3 つのベンチマーク データセットでの実験結果は、私たちの手法の優れたパフォーマンスを示しており、数ショットの HTC で最先端の結果を達成できます。

要約(オリジナル)

Hierarchical text classification (HTC) is an important task with broad applications, while few-shot HTC has gained increasing interest recently. While in-context learning (ICL) with large language models (LLMs) has achieved significant success in few-shot learning, it is not as effective for HTC because of the expansive hierarchical label sets and extremely-ambiguous labels. In this work, we introduce the first ICL-based framework with LLM for few-shot HTC. We exploit a retrieval database to identify relevant demonstrations, and an iterative policy to manage multi-layer hierarchical labels. Particularly, we equip the retrieval database with HTC label-aware representations for the input texts, which is achieved by continual training on a pretrained language model with masked language modeling (MLM), layer-wise classification (CLS, specifically for HTC), and a novel divergent contrastive learning (DCL, mainly for adjacent semantically-similar labels) objective. Experimental results on three benchmark datasets demonstrate superior performance of our method, and we can achieve state-of-the-art results in few-shot HTC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google