Multi-label Sequential Sentence Classification via Large Language Model

要約

科学出版物における逐次文分類 (SSC) は、きめ細かい情報検索や抽出的な要約などの下流タスクをサポートするために重要です。
ただし、現在の SSC メソッドは、モデル サイズ、シーケンス長、および単一ラベル設定によって制約されます。
これらの制限に対処するために、この文書では、単一ラベルと複数ラベルの SSC タスクの両方に対応する大規模言語モデル (LLM) ベースのフレームワークである LLM-SSC を提案します。
中小規模の言語モデルを使用する以前のアプローチとは異なり、提案されたフレームワークは LLM を利用して、設計されたプロンプトを通じて SSC ラベルを生成します。これにより、デモンストレーションと予測ターゲットを説明するクエリを組み込むことでタスクの理解を強化できます。
また、自動重み付けスキームを使用したマルチラベルの対比学習損失も提示し、マルチラベル分類タスクを可能にします。
マルチラベル SSC 分析をサポートするために、新しいデータセット biorc800 を導入およびリリースします。このデータセットには、手動の注釈が付けられた生物医学分野の非構造化要約が主に含まれています。
実験では、コンテキスト内学習とタスク固有のチューニング設定の両方の下で、SSC における LLM-SSC の強力なパフォーマンスが実証されています。
biorc800 とそのコードは https://github.com/ScienceNLP-Lab/LLM-SSC でリリースされています。

要約(オリジナル)

Sequential sentence classification (SSC) in scientific publications is crucial for supporting downstream tasks such as fine-grained information retrieval and extractive summarization. However, current SSC methods are constrained by model size, sequence length, and single-label setting. To address these limitations, this paper proposes LLM-SSC, a large language model (LLM)-based framework for both single- and multi-label SSC tasks. Unlike previous approaches that employ small- or medium-sized language models, the proposed framework utilizes LLMs to generate SSC labels through designed prompts, which enhance task understanding by incorporating demonstrations and a query to describe the prediction target. We also present a multi-label contrastive learning loss with auto-weighting scheme, enabling the multi-label classification task. To support our multi-label SSC analysis, we introduce and release a new dataset, biorc800, which mainly contains unstructured abstracts in the biomedical domain with manual annotations. Experiments demonstrate LLM-SSC’s strong performance in SSC under both in-context learning and task-specific tuning settings. We release biorc800 and our code at: https://github.com/ScienceNLP-Lab/LLM-SSC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google