Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset

要約

Transformer アーキテクチャが導入された 2018 年以来、さまざまなタスクに合わせて微調整できる事前トレーニング済みの Transformer ベースのモデルにより、自然言語処理は大幅な勢いを増しています。
ほとんどのモデルは大規模な英語コーパスで事前トレーニングされているため、ブラジル系ポルトガル語などの他の言語にはあまり適用できません。
私たちの調査では、ブラジルポルトガル語で事前トレーニングされた 2 つのモデル (BERTimbau と PTT5) と 2 つの多言語モデル (mBERT と mT5) を特定しました。
BERTimbau と mBERT はエンコーダ モジュールのみを使用しますが、PTT5 と mT5 はエンコーダとデコーダの両方を使用します。
私たちの研究の目的は、財務上の固有表現認識 (NER) タスクにおけるパフォーマンスを評価し、微調整と推論のための計算要件を決定することです。
この目的を達成するために、私たちは、弱い教師付きアプローチを使用して注釈を付けた、ブラジルの銀行の決算報告記録からの文で構成されるブラジル金融 NER (BraFiNER) データセットを開発しました。
さらに、トークン分類タスクをテキスト生成問題として再構成する新しいアプローチを導入しました。
モデルを微調整した後、パフォーマンスとエラーのメトリクスを使用してモデルを評価しました。
私たちの調査結果では、BERT ベースのモデルが T5 ベースのモデルよりも一貫して優れていることが明らかになりました。
多言語モデルは同等のマクロ F1 スコアを示しますが、BERTimbau は PTT5 よりも優れたパフォーマンスを示します。
エラー指標の点では、BERTimbau は他のモデルよりも優れています。
また、PTT5 と mT5 が金額とパーセンテージの値を変更した文章を生成することも観察され、金融ドメインにおける精度と一貫性の重要性が強調されました。
私たちの調査結果は、NER タスクに対する BERT ベースのモデルと T5 ベースのモデルのパフォーマンスの違いについての洞察を提供します。

要約(オリジナル)

Since 2018, when the Transformer architecture was introduced, Natural Language Processing has gained significant momentum with pre-trained Transformer-based models that can be fine-tuned for various tasks. Most models are pre-trained on large English corpora, making them less applicable to other languages, such as Brazilian Portuguese. In our research, we identified two models pre-trained in Brazilian Portuguese (BERTimbau and PTT5) and two multilingual models (mBERT and mT5). BERTimbau and mBERT use only the Encoder module, while PTT5 and mT5 use both the Encoder and Decoder. Our study aimed to evaluate their performance on a financial Named Entity Recognition (NER) task and determine the computational requirements for fine-tuning and inference. To this end, we developed the Brazilian Financial NER (BraFiNER) dataset, comprising sentences from Brazilian banks’ earnings calls transcripts annotated using a weakly supervised approach. Additionally, we introduced a novel approach that reframes the token classification task as a text generation problem. After fine-tuning the models, we evaluated them using performance and error metrics. Our findings reveal that BERT-based models consistently outperform T5-based models. While the multilingual models exhibit comparable macro F1-scores, BERTimbau demonstrates superior performance over PTT5. In terms of error metrics, BERTimbau outperforms the other models. We also observed that PTT5 and mT5 generated sentences with changes in monetary and percentage values, highlighting the importance of accuracy and consistency in the financial domain. Our findings provide insights into the differing performance of BERT- and T5-based models for the NER task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google