Prompt-Learning for Cross-Lingual Relation Extraction

要約

タイトル：Prompt-Learning for Cross-Lingual Relation Extraction

要約：
– Relation Extraction(RE)は、与えられた文章内のエンティティ間の関係を予測する情報抽出の重要なタスクです。
– しかし、事前学習されたREモデルを他の言語に拡張することは、特に実世界のシナリオでクロスリンガル関係抽出(XRE)が必要な場合には困難です。
– 最近のPrompt-Learningの進歩にもかかわらず、多言語事前学習言語モデル(PLMs)から様々なダウンストリームタスクに知識を転送することを含む技術を使ったXREの効果的な使用に関する研究は限られています。
– 本論文では、Prompt-Tuningに基づく新しいXREアルゴリズムであるPrompt-XREを提案します。
– エクスペリメントでは、Prompt-XREの効果を評価するために、ハード、ソフト、ハイブリッドプロンプトを含む複数のプロンプトテンプレートを設計し実装して、特にmBARTの競合多言語PLMsで性能を経験的にテストします。
– 複数の言語における低リソースのACE05ベンチマークでの包括的な実験により、Prompt-XREアルゴリズムは、バニラの多言語PLMや他の既存のモデルを大幅に上回り、XREにおいて最高の性能を発揮していることが示されました。
– より大規模なデータスケールでのPrompt-XREの一般化を示すために、WMT17-EnZh XREという新しいXREデータセットを構築し、公開しました。
– WMT17-EnZh XRE上の実験も、Prompt-XREが他の競合ベースラインに対して有効であることを示しています。

要約(オリジナル)

Relation Extraction (RE) is a crucial task in Information Extraction, which entails predicting relationships between entities within a given sentence. However, extending pre-trained RE models to other languages is challenging, particularly in real-world scenarios where Cross-Lingual Relation Extraction (XRE) is required. Despite recent advancements in Prompt-Learning, which involves transferring knowledge from Multilingual Pre-trained Language Models (PLMs) to diverse downstream tasks, there is limited research on the effective use of multilingual PLMs with prompts to improve XRE. In this paper, we present a novel XRE algorithm based on Prompt-Tuning, referred to as Prompt-XRE. To evaluate its effectiveness, we design and implement several prompt templates, including hard, soft, and hybrid prompts, and empirically test their performance on competitive multilingual PLMs, specifically mBART. Our extensive experiments, conducted on the low-resource ACE05 benchmark across multiple languages, demonstrate that our Prompt-XRE algorithm significantly outperforms both vanilla multilingual PLMs and other existing models, achieving state-of-the-art performance in XRE. To further show the generalization of our Prompt-XRE on larger data scales, we construct and release a new XRE dataset- WMT17-EnZh XRE, containing 0.9M English-Chinese pairs extracted from WMT 2017 parallel corpus. Experiments on WMT17-EnZh XRE also show the effectiveness of our Prompt-XRE against other competitive baselines. The code and newly constructed dataset are freely available at \url{https://github.com/HSU-CHIA-MING/Prompt-XRE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI