Extraction multi-étiquettes de relations en utilisant des couches de Transformer

要約

この記事では、フランス語のテキストでマルチラベル関係抽出のために設計された深い学習アーキテクチャであるBtransformer18モデルを紹介します。
私たちのアプローチは、Bert、Roberta、FrenchのカウンターパートのCamembert、FlaubertなどのBertファミリーの事前に訓練された言語モデルの文脈表現能力を組み合わせて、トークン間の長期的な依存関係をキャプチャするためのトランスエンコーダーの力と組み合わせています。
TextMine’25 Challengeのデータセットで実施された実験は、特にCamembert-Largeを使用する場合、Macro F1スコアを0.654で使用する場合、Flaubert-Largeで得られた結果を上回る、モデルが優れたパフォーマンスを達成することを示しています。
これらの結果は、インテリジェンスレポートで複雑な関係を自動的に抽出するためのアプローチの有効性を示しています。

要約(オリジナル)

In this article, we present the BTransformer18 model, a deep learning architecture designed for multi-label relation extraction in French texts. Our approach combines the contextual representation capabilities of pre-trained language models from the BERT family – such as BERT, RoBERTa, and their French counterparts CamemBERT and FlauBERT – with the power of Transformer encoders to capture long-term dependencies between tokens. Experiments conducted on the dataset from the TextMine’25 challenge show that our model achieves superior performance, particularly when using CamemBERT-Large, with a macro F1 score of 0.654, surpassing the results obtained with FlauBERT-Large. These results demonstrate the effectiveness of our approach for the automatic extraction of complex relations in intelligence reports.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google