Training LayoutLM from Scratch for Efficient Named-Entity Recognition in the Insurance Domain

要約

事前にトレーニングされた汎用のニューラル ネットワークは、金融や保険などの特殊な領域では良好な結果を生み出すのに苦労する可能性があります。
これは、ドメイン内のデータがプライバシーの制約により不足していることが多いため、トレーニング データと下流タスクの間のドメインの不一致が原因です。
この作業では、LayoutLM のさまざまな事前トレーニング戦略を比較します。
私たちは、給与明細と呼ばれる匿名化された保険関連の財務書類の新しいデータセットを使用して、ドメイン関連ドキュメントを使用すると、特定実体認識 (NER) 問題の結果が改善されることを示します。
さらに、より小型で高速なモデルを使用すると、競争力のある結果を達成できることを示します。

要約(オリジナル)

Generic pre-trained neural networks may struggle to produce good results in specialized domains like finance and insurance. This is due to a domain mismatch between training data and downstream tasks, as in-domain data are often scarce due to privacy constraints. In this work, we compare different pre-training strategies for LayoutLM. We show that using domain-relevant documents improves results on a named-entity recognition (NER) problem using a novel dataset of anonymized insurance-related financial documents called Payslips. Moreover, we show that we can achieve competitive results using a smaller and faster model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google