Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling

要約

モダリティの欠落の問題は重要ですが、マルチモーダル モデルで解決するのは簡単ではありません。
マルチモーダル タスクにおける欠落モダリティの問題を処理することを目的とした現在の方法は、評価中にのみ欠落モダリティを処理するか、特定の欠落モダリティ設定を処理するために別のモデルをトレーニングします。
さらに、これらのモデルは特定のタスク用に設計されているため、たとえば、分類モデルをセグメンテーション タスクに簡単に適用することはできません。また、その逆も同様です。
このペーパーでは、上記の問題に対処する競合するアプローチよりもはるかに単純で効果的な共有固有特徴モデリング (ShaSpec) 手法を提案します。
ShaSpec は、共有および固有の特徴を学習して入力データをより適切に表現することにより、トレーニングおよび評価中に利用可能なすべての入力モダリティを活用するように設計されています。
これは、残差特徴融合手順に加えて、分布調整とドメイン分類に基づく補助タスクに依存する戦略によって達成されます。
また、ShaSpec は設計がシンプルであるため、分類やセグメンテーションなどの複数のタスクに簡単に適応できます。
医療画像セグメンテーションとコンピュータ ビジョン分類の両方について実験が行われ、その結果、ShaSpec が競合する手法よりも大幅に優れていることが示されました。
たとえば、BraTS2018 では、ShaSpec は SOTA を腫瘍増強で 3% 以上、腫瘍コアで 5%、腫瘍全体で 3% 以上改善しました。

要約(オリジナル)

The missing modality issue is critical but non-trivial to be solved by multi-modal models. Current methods aiming to handle the missing modality problem in multi-modal tasks, either deal with missing modalities only during evaluation or train separate models to handle specific missing modality settings. In addition, these models are designed for specific tasks, so for example, classification models are not easily adapted to segmentation tasks and vice versa. In this paper, we propose the Shared-Specific Feature Modelling (ShaSpec) method that is considerably simpler and more effective than competing approaches that address the issues above. ShaSpec is designed to take advantage of all available input modalities during training and evaluation by learning shared and specific features to better represent the input data. This is achieved from a strategy that relies on auxiliary tasks based on distribution alignment and domain classification, in addition to a residual feature fusion procedure. Also, the design simplicity of ShaSpec enables its easy adaptation to multiple tasks, such as classification and segmentation. Experiments are conducted on both medical image segmentation and computer vision classification, with results indicating that ShaSpec outperforms competing methods by a large margin. For instance, on BraTS2018, ShaSpec improves the SOTA by more than 3% for enhancing tumour, 5% for tumour core and 3% for whole tumour.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google