EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing

要約

Pre-Trained Models (PTM) の成功は、自然言語処理 (NLP) の開発を再形成しました。
しかし、高性能モデルを入手して、産業界の実務家向けにオンラインで展開することは容易ではありません。
このギャップを埋めるために、EasyNLP は、NLP アルゴリズムの包括的なスイートをサポートする NLP アプリケーションを簡単に構築できるように設計されています。
さらに、大規模な PTM 向けの知識強化された事前トレーニング、知識の蒸留、および少数ショット学習機能を備えており、モデルのトレーニング、推論、および実世界のアプリケーションへの展開の統合フレームワークを提供します。
現在、EasyNLP は Alibaba Group 内の 10 以上のビジネス ユニットを支えており、Alibaba Cloud の Platform of AI (PAI) 製品にシームレスに統合されています。
EasyNLP ツールキットのソース コードは、GitHub (https://github.com/alibaba/EasyNLP) でリリースされています。

要約(オリジナル)

The success of Pre-Trained Models (PTMs) has reshaped the development of Natural Language Processing (NLP). Yet, it is not easy to obtain high-performing models and deploy them online for industrial practitioners. To bridge this gap, EasyNLP is designed to make it easy to build NLP applications, which supports a comprehensive suite of NLP algorithms. It further features knowledge-enhanced pre-training, knowledge distillation and few-shot learning functionalities for large-scale PTMs, and provides a unified framework of model training, inference and deployment for real-world applications. Currently, EasyNLP has powered over ten business units within Alibaba Group and is seamlessly integrated to the Platform of AI (PAI) products on Alibaba Cloud. The source code of our EasyNLP toolkit is released at GitHub (https://github.com/alibaba/EasyNLP).

arxiv情報

著者 Chengyu Wang,Minghui Qiu,Chen Shi,Taolin Zhang,Tingting Liu,Lei Li,Jianing Wang,Ming Wang,Jun Huang,Wei Lin
発行日 2023-03-13 12:40:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク