Random Entity Quantization for Parameter-Efficient Compositional Knowledge Graph Representation

要約

ナレッジ グラフ (KG) での表現学習は、下流のタスクには不可欠です。
主要なアプローチである KG Embedding (KGE) は、独立したベクトルでエンティティを表現し、スケーラビリティの課題に直面しています。
最近の研究では、パラメータ効率の代替方法が提案されています。これは、事前定義された小規模コードブックから一致するエンティティに対応するコードワードを構成することによってエンティティを表現します。
各エンティティの対応するコードワードを取得するプロセスをエンティティの量子化と呼びますが、これまでの研究では複雑な戦略が設計されていました。
驚くべきことに、この論文は、単純なランダムなエンティティの量子化が現在の戦略と同様の結果を達成できることを示しています。
我々はこの現象を分析し、エンティティを表現するための量子化結果であるエンティティコードが、ランダムなエンティティ量子化の下でコードレベルでより高いエントロピーとコードワードレベルでのジャッカード距離を有することを明らかにしました。
したがって、さまざまなエンティティをより簡単に区別できるようになり、効果的な KG 表現が容易になります。
上記の結果は、現在の量子化戦略が KG 表現にとって重要ではなく、現在の戦略を超えてエンティティの識別可能性を改善する余地がまだあることを示しています。
結果を再現するコードは https://github.com/JiaangL/RandomQuantization で入手できます。

要約(オリジナル)

Representation Learning on Knowledge Graphs (KGs) is essential for downstream tasks. The dominant approach, KG Embedding (KGE), represents entities with independent vectors and faces the scalability challenge. Recent studies propose an alternative way for parameter efficiency, which represents entities by composing entity-corresponding codewords matched from predefined small-scale codebooks. We refer to the process of obtaining corresponding codewords of each entity as entity quantization, for which previous works have designed complicated strategies. Surprisingly, this paper shows that simple random entity quantization can achieve similar results to current strategies. We analyze this phenomenon and reveal that entity codes, the quantization outcomes for expressing entities, have higher entropy at the code level and Jaccard distance at the codeword level under random entity quantization. Therefore, different entities become more easily distinguished, facilitating effective KG representation. The above results show that current quantization strategies are not critical for KG representation, and there is still room for improvement in entity distinguishability beyond current strategies. The code to reproduce our results is available at https://github.com/JiaangL/RandomQuantization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google