NLPre: a revised approach towards language-centric benchmarking of Natural Language Preprocessing systems

要約

トランスフォーマーベースのアーキテクチャの進歩により、外部の言語的な指導なしに予備的な NLP タスク (トークン化、品詞タグ付け、依存関係解析、形態素解析など) を解決できる自然言語前処理 (NLPre) ツールの台頭が観察されています。
。
ルールベースの形態素解析器や辞書に依存して、新しいソリューションを十分に確立された前処理ツールキットと比較するのは困難です。
既存の NLPre 評価アプローチの欠点を認識し、信頼性が高く公正な評価とパフォーマンス報告の新しい方法を研究しています。
GLUE ベンチマークからインスピレーションを得て提案された言語中心のベンチマーク システムにより、複数の NLPre ツールのパフォーマンスを信頼性の高い方法で追跡しながら、その包括的な継続的な評価が可能になります。
プロトタイプ アプリケーションはポーランド語用に構成されており、完全に組み立てられた NLPre-PL ベンチマークと統合されています。
このベンチマークに基づいて、私たちはポーランドのさまざまな NLPre システムの広範な評価を実施します。
他の言語のベンチマーク環境の構築を容易にするため。
アイルランド語用の​​ NLPre-GA または中国語用の NLPre-ZH では、ベンチマーク システムの公開されているソース コードの完全なカスタマイズを保証します。
すべてのリソース (デプロイされたプラットフォーム、ソース コード、トレーニングされたモデル、データセットなど) へのリンクは、プロジェクト Web サイト (https://sites.google.com/view/nlpre-benchmark) にあります。

要約(オリジナル)

With the advancements of transformer-based architectures, we observe the rise of natural language preprocessing (NLPre) tools capable of solving preliminary NLP tasks (e.g. tokenisation, part-of-speech tagging, dependency parsing, or morphological analysis) without any external linguistic guidance. It is arduous to compare novel solutions to well-entrenched preprocessing toolkits, relying on rule-based morphological analysers or dictionaries. Aware of the shortcomings of existing NLPre evaluation approaches, we investigate a novel method of reliable and fair evaluation and performance reporting. Inspired by the GLUE benchmark, the proposed language-centric benchmarking system enables comprehensive ongoing evaluation of multiple NLPre tools, while credibly tracking their performance. The prototype application is configured for Polish and integrated with the thoroughly assembled NLPre-PL benchmark. Based on this benchmark, we conduct an extensive evaluation of a variety of Polish NLPre systems. To facilitate the construction of benchmarking environments for other languages, e.g. NLPre-GA for Irish or NLPre-ZH for Chinese, we ensure full customization of the publicly released source code of the benchmarking system. The links to all the resources (deployed platforms, source code, trained models, datasets etc.) can be found on the project website: https://sites.google.com/view/nlpre-benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google