A Pattern to Align Them All: Integrating Different Modalities to Define Multi-Modal Entities

要約

さまざまな感覚入力を推論し、統合する能力は人間の知性を支える基礎であり、ナレッジ グラフ内でマルチモーダルな情報をモデル化することへの関心が高まっている理由です。
マルチモーダル ナレッジ グラフは、エンティティを、テキスト、画像、オーディオ、ビデオなどの可能なモーダル表現に関連付けることによって、従来のナレッジ グラフを拡張します。これらはすべて、エンティティのセマンティクスを伝えるために使用されます。
マルチモーダル ナレッジ グラフへの注目が高まっているにもかかわらず、モダリティの定義とモデリングについてはコンセンサスが不足しており、モダリティの定義はアプリケーション ドメインによって決定されることがよくあります。
この論文では、エンティティ (およびそれが伝える情報) と、そのセマンティクスが異なるメディア間で異なる表現を持つ可能性があるエンティティ (およびエンティティが伝達する情報) と、物理的な情報エンティティの観点からの実現との間の関心の分離を捉える、新しいオントロジー設計パターンを提案します。
この抽象モデルを導入することで、医学からデジタル人文科学に至るさまざまな領域にわたる多くのインテリジェント アプリケーションにとって重要な、さまざまな既存のマルチモーダル オントロジーの調和と統合を促進することを目指しています。

要約(オリジナル)

The ability to reason with and integrate different sensory inputs is the foundation underpinning human intelligence and it is the reason for the growing interest in modelling multi-modal information within Knowledge Graphs. Multi-Modal Knowledge Graphs extend traditional Knowledge Graphs by associating an entity with its possible modal representations, including text, images, audio, and videos, all of which are used to convey the semantics of the entity. Despite the increasing attention that Multi-Modal Knowledge Graphs have received, there is a lack of consensus about the definitions and modelling of modalities, whose definition is often determined by application domains. In this paper, we propose a novel ontology design pattern that captures the separation of concerns between an entity (and the information it conveys), whose semantics can have different manifestations across different media, and its realisation in terms of a physical information entity. By introducing this abstract model, we aim to facilitate the harmonisation and integration of different existing multi-modal ontologies which is crucial for many intelligent applications across different domains spanning from medicine to digital humanities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google