Polar Ducks and Where to Find Them: Enhancing Entity Linking with Duck Typing and Polar Box Embeddings

要約

高密度検索に基づくエンティティ リンク手法は、大規模アプリケーションで効率的で広く使用されているソリューションですが、埋め込み空間の構造に影響されやすいため、生成モデルのパフォーマンスには及ばません。
この問題に対処するために、この文書では、エンティティ タイプの事前知識を使用して、エンティティ表現の空間に構造情報を注入するアプローチである DUCK を紹介します。
プログラミング言語のダックタイピングにヒントを得て、ナレッジ グラフ内の他のエンティティとの関係に基づいてエンティティのタイプを定義することを提案します。
次に、ボックス埋め込みの概念を球極座標に移植して、関係を超球上のボックスとして表現することを提案します。
エンティティをそれらの関係に対応するボックス内に配置することで、同様のタイプのエンティティをクラスタリングするようにモデルを最適化します。
私たちの実験は、私たちの方法が標準的なエンティティ曖昧さ回避ベンチマークで新しい最先端の結果をもたらし、モデルのパフォーマンスを最大 7.9 F1 ポイント改善し、他の型認識アプローチよりも優れたパフォーマンスを示し、生成的アルゴリズムの結果と一致することを示しています。
18 倍のパラメータを持つモデル。

要約(オリジナル)

Entity linking methods based on dense retrieval are an efficient and widely used solution in large-scale applications, but they fall short of the performance of generative models, as they are sensitive to the structure of the embedding space. In order to address this issue, this paper introduces DUCK, an approach to infusing structural information in the space of entity representations, using prior knowledge of entity types. Inspired by duck typing in programming languages, we propose to define the type of an entity based on the relations that it has with other entities in a knowledge graph. Then, porting the concept of box embeddings to spherical polar coordinates, we propose to represent relations as boxes on the hypersphere. We optimize the model to cluster entities of similar type by placing them inside the boxes corresponding to their relations. Our experiments show that our method sets new state-of-the-art results on standard entity-disambiguation benchmarks, it improves the performance of the model by up to 7.9 F1 points, outperforms other type-aware approaches, and matches the results of generative models with 18 times more parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google