Modality-Aware Negative Sampling for Multi-modal Knowledge Graph Embedding

要約

【タイトル】多重モーダル知識グラフ埋め込みのためのモダリティに配慮したネガティブサンプリング

【要約】

– 知識グラフ埋め込み（KGE）においては、負のトリプルを生成して正負の対比を学習するために、ネガティブサンプリング（NS）が一般的に使用される。
– しかし、既存のNS方法は、複数のモーダル情報が考慮された場合には適切ではなく、複雑な設計のため効率が悪い。
– この論文では、モダリティに配慮したネガティブサンプリング（MANS）を提案し、従来のNS方法の問題を解決する。
– MANSは、KG内のエンティティの構造埋め込みと視覚的埋め込みを整合させ、軽量で効率的な学習を行い、多重モーダルKGEでより良い性能を発揮する有意義な埋め込みを学習する。
– 2つのベンチマークにおける実験結果から、MANSは既存のNS方法よりも優れていることが示された。
– 同時に、より深い検証も行い、MANSの効果について確認した。

要約(オリジナル)

Negative sampling (NS) is widely used in knowledge graph embedding (KGE), which aims to generate negative triples to make a positive-negative contrast during training. However, existing NS methods are unsuitable when multi-modal information is considered in KGE models. They are also inefficient due to their complex design. In this paper, we propose Modality-Aware Negative Sampling (MANS) for multi-modal knowledge graph embedding (MMKGE) to address the mentioned problems. MANS could align structural and visual embeddings for entities in KGs and learn meaningful embeddings to perform better in multi-modal KGE while keeping lightweight and efficient. Empirical results on two benchmarks demonstrate that MANS outperforms existing NS methods. Meanwhile, we make further explorations about MANS to confirm its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI