Data-driven Knowledge Fusion for Deep Multi-instance Learning

要約

タイトル：データ駆動型の知識融合による深層多インスタンス学習
要約：
– 複雑なデータ構造を含む実践的な応用に広く適用される多インスタンス学習（MIL）には、伝統的な手法と深層学習に基づく手法の2つに大別される。
– これらの方法は、問題解決の方法や実験的検証に関する価値ある知見を提供し、MIL分野の研究者にとって重要な成果を残してきた。
– ただし、多くの知識がアルゴリズム内に閉じ込められることがあり、あるモデルのデータ適合性に依存してラベルのないサンプルを予測することに重点を置く次のMILアルゴリズムが発展する結果、可視性の喪失につながり、より知的なモデルの開発を妨げる。
– 本論文では、深層多インスタンス学習のための新しいデータ駆動型知識融合（DKMIL）アルゴリズムを提案する。
– DKMILは、従来の深層のMIL手法とは完全に異なるアイデアを採用し、データセット内のキーサンプルの決定の解析（データ駆動型と呼ばれる）を行い、これらのサンプルから有用な情報を抽出する知識融合モジュールを使用してモデルのトレーニングを補助する。
– つまり、このモジュールはデータとモデルの新しいインターフェースとして機能し、強力なスケーラビリティを提供し、既存のアルゴリズムからの事前知識の使用を可能にしてモデルの学習能力を向上させる。
– さらに、モデルの下流モジュールをより知識豊かな特徴から抽出された特徴に適応させるために、浅いレベルと深いレベルの特徴を徐々に学習する2層のアテンションモジュールを提案する。
– 38のデータセットを6つのカテゴリで実験し、知識融合モジュールのスケーラビリティを証明しつつ、提案されたアーキテクチャの有効性を検証する。

要約(オリジナル)

Multi-instance learning (MIL) is a widely-applied technique in practical applications that involve complex data structures. MIL can be broadly categorized into two types: traditional methods and those based on deep learning. These approaches have yielded significant results, especially with regards to their problem-solving strategies and experimental validation, providing valuable insights for researchers in the MIL field. However, a considerable amount of knowledge is often trapped within the algorithm, leading to subsequent MIL algorithms that solely rely on the model’s data fitting to predict unlabeled samples. This results in a significant loss of knowledge and impedes the development of more intelligent models. In this paper, we propose a novel data-driven knowledge fusion for deep multi-instance learning (DKMIL) algorithm. DKMIL adopts a completely different idea from existing deep MIL methods by analyzing the decision-making of key samples in the data set (referred to as the data-driven) and using the knowledge fusion module designed to extract valuable information from these samples to assist the model’s training. In other words, this module serves as a new interface between data and the model, providing strong scalability and enabling the use of prior knowledge from existing algorithms to enhance the learning ability of the model. Furthermore, to adapt the downstream modules of the model to more knowledge-enriched features extracted from the data-driven knowledge fusion module, we propose a two-level attention module that gradually learns shallow- and deep-level features of the samples to achieve more effective classification. We will prove the scalability of the knowledge fusion module while also verifying the efficacy of the proposed architecture by conducting experiments on 38 data sets across 6 categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI