A Zero-shot Learning Method Based on Large Language Models for Multi-modal Knowledge Graph Embedding

要約

ゼロショット学習（ZL）は、自然言語処理、画像分類、横断的転送などの目に見えないカテゴリを含むタスクにとって重要です。
現在のアプリケーションは、目に見えないカテゴリを含む新しい関係またはエンティティを正確に推測および処理することができず、オープンドメインシナリオのスケーラビリティと実用性を厳しく制限していません。
ZL学習は、マルチモーダルナレッジグラフ（MMKG）埋め込み表現学習で、目に見えないカテゴリのセマンティック情報を効果的に転送するという課題に直面しています。
この論文では、大規模な言語モデル（LLM）を使用してMMKGの学習をゼロショット埋め込むフレームワークであるZSLLMを提案します。
目に見えないカテゴリのテキストモダリティ情報をLLMSの推論機能を完全に活用するプロンプトとして活用し、目に見えないカテゴリの異なるモダリティを越えてセマンティック情報転送を可能にします。
モデルベースの学習を通じて、MMKGの目に見えないカテゴリの埋め込み表現が強化されます。
複数の現実世界のデータセットで実施された広範な実験は、最先端の方法と比較してアプローチの優位性を示しています。

要約(オリジナル)

Zero-shot learning (ZL) is crucial for tasks involving unseen categories, such as natural language processing, image classification, and cross-lingual transfer. Current applications often fail to accurately infer and handle new relations or entities involving unseen categories, severely limiting their scalability and practicality in open-domain scenarios. ZL learning faces the challenge of effectively transferring semantic information of unseen categories in multi-modal knowledge graph (MMKG) embedding representation learning. In this paper, we propose ZSLLM, a framework for zero-shot embedding learning of MMKGs using large language models (LLMs). We leverage textual modality information of unseen categories as prompts to fully utilize the reasoning capabilities of LLMs, enabling semantic information transfer across different modalities for unseen categories. Through model-based learning, the embedding representation of unseen categories in MMKG is enhanced. Extensive experiments conducted on multiple real-world datasets demonstrate the superiority of our approach compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google