BUSTER: a ‘BUSiness Transaction Entity Recognition’ dataset

要約

自然言語処理はここ数年で大きな進歩を遂げましたが、その進歩を現実のビジネスケースに移すのは困難な場合があります。
理由の 1 つは、一般的なベンチマークと実際のデータとの乖離にあります。
監督の欠如、バランスの取れていない授業、ノイズの多いデータ、長い文書は、金融、法律、健康などの垂直領域の実際の問題に影響を与えることがよくあります。
業界指向の研究をサポートするために、BUSiness Transaction Entity Recognition データセットである BUSTER を紹介します。
このデータセットは、金融取引に関する手動で注釈が付けられた 3,779 の文書で構成されています。
私たちは、汎用言語モデルとドメイン固有の言語モデルの両方を活用して、いくつかのベースラインを確立します。
最高パフォーマンスのモデルは、6196 文書に自動的に注釈を付けるためにも使用され、BUSTER への追加のシルバー コーパスとしてリリースされます。

要約(オリジナル)

Albeit Natural Language Processing has seen major breakthroughs in the last few years, transferring such advances into real-world business cases can be challenging. One of the reasons resides in the displacement between popular benchmarks and actual data. Lack of supervision, unbalanced classes, noisy data and long documents often affect real problems in vertical domains such as finance, law and health. To support industry-oriented research, we present BUSTER, a BUSiness Transaction Entity Recognition dataset. The dataset consists of 3779 manually annotated documents on financial transactions. We establish several baselines exploiting both general-purpose and domain-specific language models. The best performing model is also used to automatically annotate 6196 documents, which we release as an additional silver corpus to BUSTER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google