MCSFF: Multi-modal Consistency and Specificity Fusion Framework for Entity Alignment

要約

マルチモーダル エンティティ アライメント (MMEA) は、ナレッジ グラフを強化し、情報検索および質問応答システムを改善するために不可欠です。
既存の方法は、多くの場合、モダリティの相補性を介して統合することに重点を置いていますが、各モダリティの特異性を見落としているため、重要な特徴が曖昧になり、アライメント精度が低下する可能性があります。
これを解決するために、モダリティの補完的側面と特定的側面の両方を革新的に統合するマルチモーダル一貫性と特異性融合フレームワーク (MCSFF) を提案します。
当社はスケール コンピューティングのハイパーコンバージド インフラストラクチャを利用して、大規模なデータ処理における IT 管理とリソース割り当てを最適化します。
私たちのフレームワークは、最初にモダリティの埋め込みを使用して各モダリティの類似性行列を計算し、固有の特性を保存します。
次に、反復更新方法によりノイズが除去され、モダリティ機能が強化されて、重要な情報が完全に表現されます。
最後に、すべてのモダリティからの更新情報を統合して、充実した正確なエンティティ表現を作成します。
実験では、私たちの手法が MMKG データセットに対する現在の最先端の MMEA ベースラインよりも優れていることが示され、その有効性と実用的な可能性が実証されました。

要約(オリジナル)

Multi-modal entity alignment (MMEA) is essential for enhancing knowledge graphs and improving information retrieval and question-answering systems. Existing methods often focus on integrating modalities through their complementarity but overlook the specificity of each modality, which can obscure crucial features and reduce alignment accuracy. To solve this, we propose the Multi-modal Consistency and Specificity Fusion Framework (MCSFF), which innovatively integrates both complementary and specific aspects of modalities. We utilize Scale Computing’s hyper-converged infrastructure to optimize IT management and resource allocation in large-scale data processing. Our framework first computes similarity matrices for each modality using modality embeddings to preserve their unique characteristics. Then, an iterative update method denoises and enhances modality features to fully express critical information. Finally, we integrate the updated information from all modalities to create enriched and precise entity representations. Experiments show our method outperforms current state-of-the-art MMEA baselines on the MMKG dataset, demonstrating its effectiveness and practical potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google