DaMuEL: A Large Multilingual Dataset for Entity Linking

要約

DaMuEL は、53 言語のデータを含むエンティティ リンク用の大規模な多言語データセットです。
DaMuEL は 2 つのコンポーネントで構成されます。1 つはエンティティに関する言語に依存しない情報を含むナレッジ ベースです。これには、ウィキデータからのクレームや名前付きエンティティ タイプ (PER、ORG、LOC、EVENT、BRAND、WORK_OF_ART、MANUFACTURED) が含まれます。
ナレッジ ベースにリンクされたエンティティの言及を含む Wikipedia テキストと、ラベル、エイリアス、説明などの Wikidata からの言語固有のテキストが言語ごとに個別に保存されます。
Wikidata QID は、言語に依存しない永続的な識別子として使用され、知識ベースと言語固有のテキストおよび各エンティティの情報の組み合わせを可能にします。
ウィキペディアの文書では、存在するすべてのエンティティについて意図的に 1 つの言及のみに注釈が付けられています。
さらに、各ドキュメントからリンクされている名前付きエンティティへの言及をすべて自動的に検出します。
データセットには、ナレッジ ベース内の 2,790 万の名前付きエンティティと、Wikipedia テキストからの 12.3G トークンが含まれています。
データセットは、CC BY-SA ライセンスに基づいて https://hdl.handle.net/11234/1-5047 で公開されています。

要約(オリジナル)

We present DaMuEL, a large Multilingual Dataset for Entity Linking containing data in 53 languages. DaMuEL consists of two components: a knowledge base that contains language-agnostic information about entities, including their claims from Wikidata and named entity types (PER, ORG, LOC, EVENT, BRAND, WORK_OF_ART, MANUFACTURED); and Wikipedia texts with entity mentions linked to the knowledge base, along with language-specific text from Wikidata such as labels, aliases, and descriptions, stored separately for each language. The Wikidata QID is used as a persistent, language-agnostic identifier, enabling the combination of the knowledge base with language-specific texts and information for each entity. Wikipedia documents deliberately annotate only a single mention for every entity present; we further automatically detect all mentions of named entities linked from each document. The dataset contains 27.9M named entities in the knowledge base and 12.3G tokens from Wikipedia texts. The dataset is published under the CC BY-SA license at https://hdl.handle.net/11234/1-5047.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google