From Ultra-Fine to Fine: Fine-tuning Ultra-Fine Entity Typing Models to Fine-grained

要約

詳細なエンティティ タイピング (FET) のタスクでは、多数のエンティティ タイプを使用するため、各タイプの十分な数の例が含まれるトレーニング データセットに手動でアノテーションを付けるのはコストがかかりすぎると通常考えられます。
この問題に対処する一般的な方法は、誤ったラベルを含む遠くに注釈が付けられたトレーニング データを使用することです。
ただし、そのようなデータのみを使用してトレーニングされたモデルのパフォーマンスは、自動アノテーションのエラーによって制限される可能性があります。
最近では、この従来のやり方に従わないアプローチがいくつかあります。
ただし、エンティティの直接型の監視を十分に行わないと、パフォーマンスが低下する可能性があります。
この論文では、新しいタイプのスキーマが存在するたびに、遠くにラベル付けされたデータを作成する必要性を回避できる新しいアプローチを提案します。
まず、超微細なエンティティ タイピング データを使用して、非常にボード タイプをカバーするエンティティ タイピング モデルをトレーニングします。
次に、新しく設計されたきめ細かいエンティティ タイプ スキーマのモデルを作成する必要がある場合。
このスキーマの下で注釈が付けられた少数の例を使用して、以前にトレーニングされたモデルを簡単に微調整することができます。
実験結果は、私たちのアプローチが数ショット設定の下で FET に対して優れた性能を達成することを示しています。
また、手動で注釈を付けた小さいサイズのトレーニング セットのみを使用してモデルを微調整した後、最先端の弱い監視ベースの方法よりも優れたパフォーマンスを発揮できます。

要約(オリジナル)

For the task of fine-grained entity typing (FET), due to the use of a large number of entity types, it is usually considered too costly to manually annotating a training dataset that contains an ample number of examples for each type. A common way to address this problem is to use distantly annotated training data that contains incorrect labels. However, the performance of models trained solely with such data can be limited by the errors in the automatic annotation. Recently, there are a few approaches that no longer follow this conventional way. But without using sufficient direct entity typing supervision may also cause them to yield inferior performance. In this paper, we propose a new approach that can avoid the need of creating distantly labeled data whenever there is a new type schema. We first train an entity typing model that have an extremely board type coverage by using the ultra-fine entity typing data. Then, when there is a need to produce a model for a newly designed fine-grained entity type schema. We can simply fine-tune the previously trained model with a small number of examples annotated under this schema. Experimental results show that our approach achieves outstanding performance for FET under the few-shot setting. It can also outperform state-of-the-art weak supervision based methods after fine-tuning the model with only a small size manually annotated training set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google