HyCubE: Efficient Knowledge Hypergraph 3D Circular Convolutional Embedding

要約

知識ハイパーグラフ埋め込みモデルは、複雑な意味情報を内在するため、通常、計算コストが高い。しかし、既存の研究は、知識ハイパーグラフ埋め込みの有効性を向上させることに主眼を置いており、モデル・アーキテクチャをより複雑で冗長なものにしている。知識ハイパーグラフ埋め込みは、モデルの有効性と効率性のトレードオフに達することが望ましく、また挑戦的である。本論文では、特徴情報の相互作用と抽出を包括的に強化するために、新しい3次元円形畳み込みニューラルネットワークと代替マスクスタック戦略を設計する、エンドツーエンドの効率的なn-ary知識ハイパーグラフ埋め込みモデルHyCubEを提案する。さらに、我々の提案するモデルは、より少ないパラメータで異なるアリティの知識ハイパーグラフを扱うために、3次元円形畳み込み層の構造を適応的に調整することで、有効性と効率性のより良いトレードオフを達成する。さらに、エンティティマスク機構に基づく1-Nマルチリニアスコアリングを用いることで、モデルの学習効率をさらに加速する。最後に、全てのデータセットに対する広範な実験結果から、我々の提案モデルが、全てのメトリクスにおいて平均7.30%～9.53%、最大33.82%の改善を示し、常に最先端のベースラインを上回ることが実証された。一方、HyCubEは最新の最先端ベースラインの平均指標と比較して、4.12倍高速で、GPUメモリ使用量は52.19%少なく、パラメータ数は85.21%削減される。

要約(オリジナル)

Knowledge hypergraph embedding models are usually computationally expensive due to the inherent complex semantic information. However, existing works mainly focus on improving the effectiveness of knowledge hypergraph embedding, making the model architecture more complex and redundant. It is desirable and challenging for knowledge hypergraph embedding to reach a trade-off between model effectiveness and efficiency. In this paper, we propose an end-to-end efficient n-ary knowledge hypergraph embedding model, HyCubE, which designs a novel 3D circular convolutional neural network and the alternate mask stack strategy to enhance the interaction and extraction of feature information comprehensively. Furthermore, our proposed model achieves a better trade-off between effectiveness and efficiency by adaptively adjusting the 3D circular convolutional layer structure to handle different arity knowledge hypergraphs with fewer parameters. In addition, we use 1-N multilinear scoring based on the entity mask mechanism to further accelerate the model training efficiency. Finally, extensive experimental results on all datasets demonstrate that our proposed model consistently outperforms state-of-the-art baselines, with an average improvement of 7.30%-9.53% and a maximum improvement of 33.82% across all metrics. Meanwhile, HyCubE is 4.12x faster, GPU memory usage is 52.19% lower, and the number of parameters is reduced by 85.21% compared with the average metric of the latest state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL