Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment

要約

マルチモーダルエンティティアライメント(MMEA)は、2つのマルチモーダル知識グラフ間で等価なエンティティを識別し、統合することを目的としている。残念ながら、先行研究では、マルチモーダル情報の相互作用と融合を改善しようと試みられてきたが、モーダル特有のノイズの影響や、半教師付き設定におけるラベル付きデータとラベルなしデータの使い分けを見落としてきた。本研究では、半教師ありの方法で、擬似ラベルキャリブレーションマルチモーダル固有表現アライメント（PCMEA）を導入する。具体的には、全体的なエンティティ表現を生成するために、まず、視覚的特徴、構造的特徴、関係的特徴、属性的特徴を抽出するための様々な埋め込みモジュールと注意メカニズムを考案する。先行する直接的な融合手法とは異なり、我々は次に、モード特有のノイズをフィルタリングし、モード不変な共通性を増強するために、相互情報最大化を利用することを提案する。次に、擬似ラベルキャリブレーションと運動量に基づくコントラスト学習を組み合わせ、ラベル付けされたデータとラベル付けされていないデータをフルに活用することで、擬似ラベルの品質を向上させ、整列されたエンティティをより近づける。最後に、2つのMMEAデータセットを用いた広範な実験により、我々のPCMEAの有効性が実証され、最先端の性能が得られた。

要約(オリジナル)

Multi-modal entity alignment (MMEA) aims to identify equivalent entities between two multi-modal knowledge graphs for integration. Unfortunately, prior arts have attempted to improve the interaction and fusion of multi-modal information, which have overlooked the influence of modal-specific noise and the usage of labeled and unlabeled data in semi-supervised settings. In this work, we introduce a Pseudo-label Calibration Multi-modal Entity Alignment (PCMEA) in a semi-supervised way. Specifically, in order to generate holistic entity representations, we first devise various embedding modules and attention mechanisms to extract visual, structural, relational, and attribute features. Different from the prior direct fusion methods, we next propose to exploit mutual information maximization to filter the modal-specific noise and to augment modal-invariant commonality. Then, we combine pseudo-label calibration with momentum-based contrastive learning to make full use of the labeled and unlabeled data, which improves the quality of pseudo-label and pulls aligned entities closer. Finally, extensive experiments on two MMEA datasets demonstrate the effectiveness of our PCMEA, which yields state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL