Continual Multimodal Knowledge Graph Construction

要約

マルチモーダル ナレッジ グラフ構築 (MKGC) には、テキストや画像などの複数のモダリティを使用してエンティティと関係の構造化表現を作成することが含まれます。
ただし、既存の MKGC モデルは、動的な現実世界のシナリオで新しいエンティティや関係を追加する際に課題に直面しています。
ナレッジ グラフ構築の現在の継続的な設定は、主にテキスト データからのエンティティと関係の抽出に焦点を当てており、他のマルチモーダル ソースは無視されています。
したがって、壊滅的な忘却の現象に対処し、さまざまな形式のデータから抽出された過去の知識を確実に保持するために、継続的な MKGC の課題を検討する必要性が生じます。
この研究は、生涯にわたる MKGC ベンチマーク データセットを開発することで、この複雑なトピックを調査することに焦点を当てています。
いくつかの典型的な MKGC モデルは、マルチメディア データでトレーニングすると、継続的な設定でテキスト リソースのみを利用するモデルと比較して予想外にパフォーマンスが低下する可能性があるという経験的発見に基づいて、継続的な MKGC 用の生涯にわたるマルチモーダル一貫性のあるトランスフォーマー フレームワーク (LMC) を提案します。
継続的な学習における一貫したマルチモーダル最適化の強みを活かし、安定性と可塑性のトレードオフを改善します。
私たちの実験は、動的なシナリオにおける一般的な継続学習手法やマルチモーダルなアプローチよりも、私たちの方法の優れたパフォーマンスを示しています。
コードとデータセットは https://github.com/zjunlp/ContinueMKGC にあります。

要約(オリジナル)

Multimodal Knowledge Graph Construction (MKGC) involves creating structured representations of entities and relations using multiple modalities, such as text and images. However, existing MKGC models face challenges in handling the addition of new entities and relations in dynamic real-world scenarios. The current continual setting for knowledge graph construction mainly focuses on entity and relation extraction from text data, overlooking other multimodal sources. Therefore, there arises the need to explore the challenge of continual MKGC to address the phenomenon of catastrophic forgetting and ensure the retention of past knowledge extracted from different forms of data. This research focuses on investigating this complex topic by developing lifelong MKGC benchmark datasets. Based on the empirical findings that several typical MKGC models, when trained on multimedia data, might unexpectedly underperform compared to those solely utilizing textual resources in a continual setting, we propose a Lifelong MultiModal Consistent Transformer Framework (LMC) for continual MKGC, which plays the strengths of the consistent multimodal optimization in continual learning and leads to a better stability-plasticity trade-off. Our experiments demonstrate the superior performance of our method over prevailing continual learning techniques or multimodal approaches in dynamic scenarios. Code and datasets can be found at https://github.com/zjunlp/ContinueMKGC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google