How Effective Can Dropout Be in Multiple Instance Learning ?

要約

複数のインスタンス学習（MIL）は、さまざまなアプリケーションに人気のある弱く監視された方法であり、組織学的全体のスライド画像（WSI）分類に特に関心があります。
WSIのギガピクセルの解像度により、WSIでのMILのアプリケーションは通常、2段階のトレーニングスキームを必要とします。まず、事前に訓練されたバックボーンから機能を抽出し、MIL集約を実行します。
ただし、この準最適なトレーニングスキームは、バックボーンからの「騒々しい」機能の埋め込みに苦しんでおり、豊かで一般化可能な機能を学習することを妨げている固有の弱い監督に苦しんでいることがよく知られています。
ただし、この問題を緩和するための最も一般的に使用される手法（つまり、ドロップアウト）は、MILでまだ調査されていません。
この論文では、MILでドロップアウトがどれほど効果的であるかを経験的に調査します。
興味深いことに、バッグ内のトップKの最も重要なインスタンスをドロップすると、騒音攻撃下でもパフォーマンスと一般化が向上することがわかります。
この重要な観察結果に基づいて、MILドロップアウトと呼ばれる新しいMIL固有のドロップアウト方法を提案します。これは、どのインスタンスをドロップするインスタンスを体系的に決定します。
5つのMILベンチマークデータセットと2つのWSIデータセットでの実験は、MILドロップアウトが現在のMILメソッドのパフォーマンスを無視できる計算コストで向上させることを示しています。
このコードは、https：//github.com/chongqingnosubway/mildropoutで入手できます。

要約(オリジナル)

Multiple Instance Learning (MIL) is a popular weakly-supervised method for various applications, with a particular interest in histological whole slide image (WSI) classification. Due to the gigapixel resolution of WSI, applications of MIL in WSI typically necessitate a two-stage training scheme: first, extract features from the pre-trained backbone and then perform MIL aggregation. However, it is well-known that this suboptimal training scheme suffers from ‘noisy’ feature embeddings from the backbone and inherent weak supervision, hindering MIL from learning rich and generalizable features. However, the most commonly used technique (i.e., dropout) for mitigating this issue has yet to be explored in MIL. In this paper, we empirically explore how effective the dropout can be in MIL. Interestingly, we observe that dropping the top-k most important instances within a bag leads to better performance and generalization even under noise attack. Based on this key observation, we propose a novel MIL-specific dropout method, termed MIL-Dropout, which systematically determines which instances to drop. Experiments on five MIL benchmark datasets and two WSI datasets demonstrate that MIL-Dropout boosts the performance of current MIL methods with a negligible computational cost. The code is available at https://github.com/ChongQingNoSubway/MILDropout.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google