HugNLP: A Unified and Comprehensive Library for Natural Language Processing

要約

このホワイト ペーパーでは、HuggingFace Transformers の一般的なバックエンドを備えた自然言語処理 (NLP) 用の統合された包括的なライブラリである HugNLP を紹介します。
実世界のシナリオで定義されたモデルとタスク。
HugNLP は、さまざまな NLP タスクで事前にトレーニングされた言語モデル (PLM) の学習プロセスを統合するモデル、プロセッサ、およびアプリケーションを含む階層構造で構成されています。
さらに、HugNLP の有効性を示すために、ナレッジ強化 PLM、普遍的な情報抽出、低リソース マイニング、コードの理解と生成など、注目の NLP アプリケーションを紹介します。ソース コードは GitHub で公開されます (https:
//github.com/wjn1996/HugNLP)。

要約(オリジナル)

In this paper, we introduce HugNLP, a unified and comprehensive library for natural language processing (NLP) with the prevalent backend of HuggingFace Transformers, which is designed for NLP researchers to easily utilize off-the-shelf algorithms and develop novel methods with user-defined models and tasks in real-world scenarios. HugNLP consists of a hierarchical structure including models, processors and applications that unifies the learning process of pre-trained language models (PLMs) on different NLP tasks. Additionally, we present some featured NLP applications to show the effectiveness of HugNLP, such as knowledge-enhanced PLMs, universal information extraction, low-resource mining, and code understanding and generation, etc. The source code will be released on GitHub (https://github.com/wjn1996/HugNLP).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google