Zshot: An Open-source Framework for Zero-Shot Named Entity Recognition and Relation Extraction

要約

ゼロショット学習 (ZSL) タスクは、トレーニング中に表示されなかったテキスト内のエンティティまたは関係の識別に関係します。
ZSL は、特定のドメインのラベル付きデータが不足しているため、重要な研究分野として浮上しており、その応用は近年大幅に増加しています。
大規模な事前トレーニング済み言語モデルの出現により、いくつかの新しい方法が提案され、ZSL のパフォーマンスが大幅に向上しました。
研究コミュニティと業界の両方で、最新の手法や事前学習済みモデルの開発とアクセスを容易にする包括的な ZSL フレームワークに対する需要が高まっています。この研究では、Zshot と呼ばれる新しい ZSL フレームワークを提案します。
前述の課題。
私たちの主な目的は、研究者がさまざまな最先端の ZSL 手法を標準ベンチマーク データセットと比較できるプラットフォームを提供することです。
さらに、標準の SpaCy NLP パイプラインの下で、すぐに利用できる生産用 API で業界をサポートするフレームワークを設計しました。
当社の API は拡張可能で評価可能であり、さらに、SpaCy 拡張機能として利用可能なパイプライン アンサンブルおよび視覚化ユーティリティによる精度の向上など、数多くの機能強化が含まれています。

要約(オリジナル)

The Zero-Shot Learning (ZSL) task pertains to the identification of entities or relations in texts that were not seen during training. ZSL has emerged as a critical research area due to the scarcity of labeled data in specific domains, and its applications have grown significantly in recent years. With the advent of large pretrained language models, several novel methods have been proposed, resulting in substantial improvements in ZSL performance. There is a growing demand, both in the research community and industry, for a comprehensive ZSL framework that facilitates the development and accessibility of the latest methods and pretrained models.In this study, we propose a novel ZSL framework called Zshot that aims to address the aforementioned challenges. Our primary objective is to provide a platform that allows researchers to compare different state-of-the-art ZSL methods with standard benchmark datasets. Additionally, we have designed our framework to support the industry with readily available APIs for production under the standard SpaCy NLP pipeline. Our API is extendible and evaluable, moreover, we include numerous enhancements such as boosting the accuracy with pipeline ensembling and visualization utilities available as a SpaCy extension.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google