M-VAAL: Multimodal Variational Adversarial Active Learning for Downstream Medical Image Analysis Tasks

要約

医療分野で適切に注釈が付けられたデータを取得するには、専門家、時間のかかるプロトコル、厳密な検証が必要なため、費用がかかります。
アクティブ ラーニングは、アノテーションに最も有益なサンプルをアクティブにサンプリングすることで、大規模なアノテーション付きサンプルの必要性を最小限に抑えようとします。
これらの例は、教師あり機械学習モデルのパフォーマンスの向上に大きく貢献するため、アクティブ ラーニングは、深層学習ベースの診断、臨床評価、治療計画において最も適切な情報を選択する際に重要な役割を果たすことができます。
いくつかの既存の研究では、医用画像解析におけるアノテーションに最適なサンプルをサンプリングする方法が提案されていますが、それらはタスクに依存せず、サンプラーでマルチモーダルな補助情報を使用しないため、ロバスト性が向上する可能性があります。
したがって、この研究では、追加のモダリティからの補助情報を使用してアクティブサンプリングを強化する、マルチモーダル変分敵対的アクティブラーニング（M-VAAL）方法を提案します。
私たちはこの方法を 2 つのデータセットに適用しました: i) BraTS2018 データセットを使用した脳腫瘍セグメンテーションとマルチラベル分類、および ii) COVID-QU-Ex データセットを使用した胸部 X 線画像分類。
私たちの結果は、限られたアノテーションの下でのデータ効率の良い学習に向けた有望な方向性を示しています。

要約(オリジナル)

Acquiring properly annotated data is expensive in the medical field as it requires experts, time-consuming protocols, and rigorous validation. Active learning attempts to minimize the need for large annotated samples by actively sampling the most informative examples for annotation. These examples contribute significantly to improving the performance of supervised machine learning models, and thus, active learning can play an essential role in selecting the most appropriate information in deep learning-based diagnosis, clinical assessments, and treatment planning. Although some existing works have proposed methods for sampling the best examples for annotation in medical image analysis, they are not task-agnostic and do not use multimodal auxiliary information in the sampler, which has the potential to increase robustness. Therefore, in this work, we propose a Multimodal Variational Adversarial Active Learning (M-VAAL) method that uses auxiliary information from additional modalities to enhance the active sampling. We applied our method to two datasets: i) brain tumor segmentation and multi-label classification using the BraTS2018 dataset, and ii) chest X-ray image classification using the COVID-QU-Ex dataset. Our results show a promising direction toward data-efficient learning under limited annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google