ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks

要約

プロンプトベースの手法は、言語を超えたゼロショットの理解のために、事前にトレーニングされた多言語の言語モデルに適用されることに成功しました。
ただし、これまでの研究のほとんどは主に文レベルの分類タスクに焦点を当てており、固有表現認識 (NER) や品詞 (POS) のタグ付けなどのトークン レベルのラベル付けタスクを考慮した研究はわずかでした。
この論文では、トークンレベルのシーケンスラベル付けタスクのためのプロンプトベースの方法を容易にするトークンレベルプロンプト分解 (ToPro) を提案します。
ToPro メソッドは、入力文を単一のトークンに分解し、各トークンに 1 つのプロンプト テンプレートを適用します。
多言語の NER および POS タグ付けデータセットに関する実験では、特にソース言語の英語とは類型的に異なる言語の場合、ゼロショット言語間転送において、ToPro ベースの微調整がバニラ微調整やプロンプト チューニングよりも優れていることが実証されました。
私たちの手法は、mT5 モデルで使用した場合にも最先端のパフォーマンスを実現します。
さらに、多言語の大規模言語モデルにおける探索的研究では、ToPro が現在のコンテキスト内学習方法よりもはるかに優れたパフォーマンスを発揮することが示されています。
全体として、パフォーマンスの向上は、ToPro が配列ラベル付けタスクの新規かつシンプルなベンチマーク方法として機能する可能性があることを示しています。

要約(オリジナル)

Prompt-based methods have been successfully applied to multilingual pretrained language models for zero-shot cross-lingual understanding. However, most previous studies primarily focused on sentence-level classification tasks, and only a few considered token-level labeling tasks such as Named Entity Recognition (NER) and Part-of-Speech (POS) tagging. In this paper, we propose Token-Level Prompt Decomposition (ToPro), which facilitates the prompt-based method for token-level sequence labeling tasks. The ToPro method decomposes an input sentence into single tokens and applies one prompt template to each token. Our experiments on multilingual NER and POS tagging datasets demonstrate that ToPro-based fine-tuning outperforms Vanilla fine-tuning and Prompt-Tuning in zero-shot cross-lingual transfer, especially for languages that are typologically different from the source language English. Our method also attains state-of-the-art performance when employed with the mT5 model. Besides, our exploratory study in multilingual large language models shows that ToPro performs much better than the current in-context learning method. Overall, the performance improvements show that ToPro could potentially serve as a novel and simple benchmarking method for sequence labeling tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google