FinTree: Financial Dataset Pretrain Transformer Encoder for Relation Extraction

要約

関係抽出のための金融データセット事前トレーニングトランスフォーマーエンコーダーである FinTree を紹介します。
エンコーダー言語モデルを利用して、金融データセットで FinTree をさらに事前トレーニングし、金融ドメイン タスクにモデルを適応させます。
FinTree は、パターンエクスプロイト トレーニング手法にヒントを得た、従来の [CLS] トークンの代わりにマスクされたトークンを予測する新しい構造で際立っています。
この構造により、2 つの特定のエンティティ間の関係をより正確に予測できます。
このモデルは、対象のエンティティに関するコンテキスト情報と位置情報を提供するために独自の入力パターンでトレーニングされ、後処理ステップによりエンティティ タイプに応じた正確な予測が保証されます。
私たちの実験では、FinTree が大規模な財務関係抽出データセットである REFinD よりも優れたパフォーマンスを発揮することが実証されました。
コードと事前トレーニングされたモデルは https://github.com/HJ-Ok/FinTree で入手できます。

要約(オリジナル)

We present FinTree, Financial Dataset Pretrain Transformer Encoder for Relation Extraction. Utilizing an encoder language model, we further pretrain FinTree on the financial dataset, adapting the model in financial domain tasks. FinTree stands out with its novel structure that predicts a masked token instead of the conventional [CLS] token, inspired by the Pattern Exploiting Training methodology. This structure allows for more accurate relation predictions between two given entities. The model is trained with a unique input pattern to provide contextual and positional information about the entities of interest, and a post-processing step ensures accurate predictions in line with the entity types. Our experiments demonstrate that FinTree outperforms on the REFinD, a large-scale financial relation extraction dataset. The code and pretrained models are available at https://github.com/HJ-Ok/FinTree.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google