MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction

要約

言語を越えたオープンな情報抽出は、複数の言語にわたる生のテキストから構造化された情報を抽出することを目的としています。
以前の研究では、異なる言語を処理するために共有されたクロスリンガルの事前トレーニング済みモデルを使用していましたが、言語固有の表現の可能性が十分に活用されていませんでした。
この論文では、言語固有の知識を共有モデルに注入することで、言語を超えたオープンな情報抽出を強化するために設計された、MT4CrossIE と呼ばれる効果的な多段階チューニング フレームワークを提案します。
具体的には、クロスリンガルの事前トレーニング済みモデルは、最初に固定エンコーダーの共有意味空間 (埋め込み行列など) で調整され、次に他のコンポーネントが第 2 段階で最適化されます。
十分なトレーニングの後、事前トレーニングされたモデルをフリーズし、モデルベースの言語間伝達のために LoRA の混合を使用して複数の追加の低ランクの言語固有モジュールを調整します。
さらに、2 段階のプロンプトを活用して、大規模言語モデル (LLM) がデータベースの言語間転送のために多言語生データに注釈を付けることを促進します。
このモデルは、モデルベースとデータベースの転送手法を組み合わせることにより、私たちが提案するデータセット OpenIE4++ 上で多言語の目的でトレーニングされます。
さまざまなベンチマークの実験結果は、複数のプラグイン アンド プレイ言語固有モジュールを集約することの重要性を強調し、クロスリンガル OIE\脚注{\url{https://github.com/CSJianYang/Multilingual) における MT4CrossIE の有効性を実証しています。
-マルチモーダル-NLP}}。

要約(オリジナル)

Cross-lingual open information extraction aims to extract structured information from raw text across multiple languages. Previous work uses a shared cross-lingual pre-trained model to handle the different languages but underuses the potential of the language-specific representation. In this paper, we propose an effective multi-stage tuning framework called MT4CrossIE, designed for enhancing cross-lingual open information extraction by injecting language-specific knowledge into the shared model. Specifically, the cross-lingual pre-trained model is first tuned in a shared semantic space (e.g., embedding matrix) in the fixed encoder and then other components are optimized in the second stage. After enough training, we freeze the pre-trained model and tune the multiple extra low-rank language-specific modules using mixture-of-LoRAs for model-based cross-lingual transfer. In addition, we leverage two-stage prompting to encourage the large language model (LLM) to annotate the multi-lingual raw data for data-based cross-lingual transfer. The model is trained with multi-lingual objectives on our proposed dataset OpenIE4++ by combing the model-based and data-based transfer techniques. Experimental results on various benchmarks emphasize the importance of aggregating multiple plug-in-and-play language-specific modules and demonstrate the effectiveness of MT4CrossIE in cross-lingual OIE\footnote{\url{https://github.com/CSJianYang/Multilingual-Multimodal-NLP}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google