Unveiling Ontological Commitment in Multi-Modal Foundation Models

要約

存在論的コミットメント、つまり使用される概念、関係、仮定は、定性的推論 (QR) モデルの基礎です。
ただし、生の入力を処理するための最新技術はディープ ニューラル ネットワーク (DNN) であり、今日では多くの場合マルチモーダル基盤モデルに基づいています。
これらは、概念とそれぞれの推論の豊富な表現を自動的に学習します。
残念ながら、学習された定性的知識は不透明であり、利用可能な QR モデルに対する検査、検証、または適応が容易ではありません。
これまでのところ、事前定義された概念を DNN の潜在的な表現に関連付けることは可能ですが、抽出可能な関係はほとんどが意味的な類似性に限定されています。
DNN の検証と検証のための QR に向けた次のステップとして、具体的には、与えられたリーフ概念セットのマルチモーダル DNN から学習されたスーパークラス階層を抽出する方法を提案します。
内部では、(1) DNN のテキスト入力モダリティを使用してリーフ概念の埋め込みを取得します。
(2) DNN がベクトル距離を介して意味上の類似性をエンコードすることを使用して、それらに階層的クラスタリングを適用します。
(3) QR からの利用可能なオントロジーの検索を使用して、そのように取得された親概念にラベルを付けます。
初期評価研究では、意味のある存在論的クラス階層が最先端の基盤モデルから抽出できることが示されています。
さらに、与えられたオントロジーに対して DNN の学習された表現を検証および検証する方法を示します。
最後に、QR のコンテキストにおける潜在的な将来のアプリケーションについて説明します。

要約(オリジナル)

Ontological commitment, i.e., used concepts, relations, and assumptions, are a corner stone of qualitative reasoning (QR) models. The state-of-the-art for processing raw inputs, though, are deep neural networks (DNNs), nowadays often based off from multimodal foundation models. These automatically learn rich representations of concepts and respective reasoning. Unfortunately, the learned qualitative knowledge is opaque, preventing easy inspection, validation, or adaptation against available QR models. So far, it is possible to associate pre-defined concepts with latent representations of DNNs, but extractable relations are mostly limited to semantic similarity. As a next step towards QR for validation and verification of DNNs: Concretely, we propose a method that extracts the learned superclass hierarchy from a multimodal DNN for a given set of leaf concepts. Under the hood we (1) obtain leaf concept embeddings using the DNN’s textual input modality; (2) apply hierarchical clustering to them, using that DNNs encode semantic similarities via vector distances; and (3) label the such-obtained parent concepts using search in available ontologies from QR. An initial evaluation study shows that meaningful ontological class hierarchies can be extracted from state-of-the-art foundation models. Furthermore, we demonstrate how to validate and verify a DNN’s learned representations against given ontologies. Lastly, we discuss potential future applications in the context of QR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google