MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion

要約

近年、マルチモーダルナレッジグラフ補完 (MMKGC) が大幅に進歩しました。
MMKGC は、マルチモーダル エンティティ情報を統合することによってナレッジ グラフ補完 (KGC) を強化し、それによって大規模なナレッジ グラフ (KG) 内の未観測のトリプルの発見を容易にします。
それにもかかわらず、既存の方法は、モダリティの相互作用を促進するためにエレガントな KGC モデルの設計に重点を置き、KG でモダリティが欠落しているという現実の問題を無視しています。
モダリティ情報が欠落していると、モーダルの相互作用が妨げられ、その結果、モデルのパフォーマンスが損なわれます。
本稿では、MMKGCにおけるモダリティ欠損問題を解決するためのモダリティ敵対的・対照的フレームワーク(MACO)を提案する。
MACO は、ジェネレーターとディスクリミネーターを敵対的にトレーニングして、MMKGC モデルに組み込むことができる欠落しているモダリティ特徴を生成します。
一方、発電機の性能を向上させるためにクロスモーダルコントラスト損失を設計します。
さらなる調査を伴う公開ベンチマークの実験により、MACO が最先端の結果を達成し、さまざまな MMKGC モデルを強化する多用途のフレームワークとして機能する可能性があることが実証されました。
コードとベンチマーク データは https://github.com/zjukg/MACO で入手できます。

要約(オリジナル)

Recent years have seen significant advancements in multi-modal knowledge graph completion (MMKGC). MMKGC enhances knowledge graph completion (KGC) by integrating multi-modal entity information, thereby facilitating the discovery of unobserved triples in the large-scale knowledge graphs (KGs). Nevertheless, existing methods emphasize the design of elegant KGC models to facilitate modality interaction, neglecting the real-life problem of missing modalities in KGs. The missing modality information impedes modal interaction, consequently undermining the model’s performance. In this paper, we propose a modality adversarial and contrastive framework (MACO) to solve the modality-missing problem in MMKGC. MACO trains a generator and discriminator adversarially to generate missing modality features that can be incorporated into the MMKGC model. Meanwhile, we design a cross-modal contrastive loss to improve the performance of the generator. Experiments on public benchmarks with further explorations demonstrate that MACO could achieve state-of-the-art results and serve as a versatile framework to bolster various MMKGC models. Our code and benchmark data are available at https://github.com/zjukg/MACO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google