Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling

要約

マスク言語モデリング (MLM) に基づく事前トレーニング済み言語モデルは、自然言語理解 (NLU) タスクに優れています。
微調整された MLM ベースのエンコーダーは、同等のサイズの因果言語モデリング デコーダーよりも一貫して優れたパフォーマンスを発揮しますが、最近のデコーダーのみの大規模言語モデル (LLM) は、小規模な MLM ベースのエンコーダーと同等のパフォーマンスを発揮します。
LLM は規模に応じてパフォーマンスが向上しますが、情報抽出 (IE) タスクでは最先端の結果を達成するには至っておらず、その多くはシーケンス ラベリング (SL) として定式化されています。
私たちは、LLM の SL パフォーマンスの低下は、モデルが現在のトークンの右側にあるトークンに注意を向けることを妨げる因果関係のマスキングに起因すると仮説を立てます。
しかし、SL 上での LLM のパフォーマンスがどのように正確に、どの程度改善されるのかは依然として不明です。
LLM の微調整中に因果マスク (CM) を層ごとに除去することで、IE タスク上のオープン LLM の SL パフォーマンスを向上させる手法を検討します。
このアプローチにより、最先端の SL モデルと競合するパフォーマンスが向上し、すべてのブロックから CM を除去した結果と同等またはそれを上回るパフォーマンスが得られます。
私たちの調査結果はさまざまな SL タスクに当てはまり、層依存の CM 除去を備えたオープン LLM が、強力な MLM ベースのエンコーダーや命令調整された LLM よりも優れていることが実証されました。

要約(オリジナル)

Pre-trained language models based on masked language modeling (MLM) excel in natural language understanding (NLU) tasks. While fine-tuned MLM-based encoders consistently outperform causal language modeling decoders of comparable size, recent decoder-only large language models (LLMs) perform on par with smaller MLM-based encoders. Although their performance improves with scale, LLMs fall short of achieving state-of-the-art results in information extraction (IE) tasks, many of which are formulated as sequence labeling (SL). We hypothesize that LLMs’ poor SL performance stems from causal masking, which prevents the model from attending to tokens on the right of the current token. Yet, how exactly and to what extent LLMs’ performance on SL can be improved remains unclear. We explore techniques for improving the SL performance of open LLMs on IE tasks by applying layer-wise removal of the causal mask (CM) during LLM fine-tuning. This approach yields performance gains competitive with state-of-the-art SL models, matching or outperforming the results of CM removal from all blocks. Our findings hold for diverse SL tasks, demonstrating that open LLMs with layer-dependent CM removal outperform strong MLM-based encoders and even instruction-tuned LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google