Advancing Hungarian Text Processing with HuSpaCy: Efficient and Accurate NLP Pipelines

要約

この論文では、リソース効率と精度のバランスをとりながら、ほぼ最先端のパフォーマンスを達成する、ハンガリー語用の工業グレードのテキスト処理モデルのセットを紹介します。
モデルは spaCy フレームワークに実装されており、アーキテクチャにいくつかの改良を加えて HuSpaCy ツールキットを拡張しています。
ハンガリー語用の既存の NLP ツールと比較して、当社のすべてのパイプラインは、トークン化、文境界検出、品詞タグ付け、形態学的特徴タグ付け、見出し語化、係り受け解析、固有表現認識などの基本的なテキスト処理ステップをすべて高精度かつスループットで備えています。
。
私たちは提案された機能強化を徹底的に評価し、パイプラインと最先端のツールを比較し、すべてのテキスト前処理ステップで新しいモデルの競争力のあるパフォーマンスを実証しました。
すべての実験は再現可能であり、パイプラインは寛容なライセンスの下で自由に利用できます。

要約(オリジナル)

This paper presents a set of industrial-grade text processing models for Hungarian that achieve near state-of-the-art performance while balancing resource efficiency and accuracy. Models have been implemented in the spaCy framework, extending the HuSpaCy toolkit with several improvements to its architecture. Compared to existing NLP tools for Hungarian, all of our pipelines feature all basic text processing steps including tokenization, sentence-boundary detection, part-of-speech tagging, morphological feature tagging, lemmatization, dependency parsing and named entity recognition with high accuracy and throughput. We thoroughly evaluated the proposed enhancements, compared the pipelines with state-of-the-art tools and demonstrated the competitive performance of the new models in all text preprocessing steps. All experiments are reproducible and the pipelines are freely available under a permissive license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google