Schema Inference for Interpretable Image Classification

要約

この論文では、スキーマ推論と呼ばれる新しい推論パラダイムを研究します。このパラダイムは、一般的なスキーマの哲学的認知概念に基づいて、以前のディープ ニューラル ネットワーク (DNN) 転送スキームを再構築することによって、説明可能な予測を演繹的に推論することを学習します。
私たちは、従来のモデル推論パイプラインを、印象マッチングを介した人間の推論メカニズムと同様に、画像の抽出された視覚概念を事前に計算されたシーンの印象と関連付けるグラフマッチングポリシーに再定式化することに努めています。
この目的を達成するために、提案されたスキーマ推論概念の専用インスタンス化として、SchemaNet と呼ばれる精緻なアーキテクチャを考案します。これは、入力インスタンスの視覚的意味論とターゲット カテゴリの学習された抽象的想像力の両方をトポロジカルな関係グラフとしてモデル化します。
一方、グローバルな視点でビジュアルセマンティクスの構成的貢献を捉えて活用するために、SchemaNet にユニバーサル Feat2Graph スキームを導入して、豊富なインタラクション情報を含むリレーショナル グラフを確立します。
理論的分析といくつかのベンチマークの実験結果の両方から、提案されたスキーマ推論が有望なパフォーマンスを達成し、同時に予測につながる演繹的プロセスの明確な全体像が得られることが実証されています。
私たちのコードは https://github.com/zhfeing/SchemaNet-PyTorch で入手できます。

要約(オリジナル)

In this paper, we study a novel inference paradigm, termed as schema inference, that learns to deductively infer the explainable predictions by rebuilding the prior deep neural network (DNN) forwarding scheme, guided by the prevalent philosophical cognitive concept of schema. We strive to reformulate the conventional model inference pipeline into a graph matching policy that associates the extracted visual concepts of an image with the pre-computed scene impression, by analogy with human reasoning mechanism via impression matching. To this end, we devise an elaborated architecture, termed as SchemaNet, as a dedicated instantiation of the proposed schema inference concept, that models both the visual semantics of input instances and the learned abstract imaginations of target categories as topological relational graphs. Meanwhile, to capture and leverage the compositional contributions of visual semantics in a global view, we also introduce a universal Feat2Graph scheme in SchemaNet to establish the relational graphs that contain abundant interaction information. Both the theoretical analysis and the experimental results on several benchmarks demonstrate that the proposed schema inference achieves encouraging performance and meanwhile yields a clear picture of the deductive process leading to the predictions. Our code is available at https://github.com/zhfeing/SchemaNet-PyTorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google