UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training

要約

磁気共鳴画像法 (MRI) は脳疾患の診断において重要な役割を果たしており、これを利用したさまざまなコンピューター支援人工知能手法が提案されています。
ただし、初期の調査では通常、1 つの研究で限られた種類の脳疾患に焦点を当て、小規模のデータに基づいてモデルをトレーニングするため、一般化のボトルネックが生じます。
より効果的でスケーラブルなパラダイムに向けて、UniBrain と呼ばれる、ユニバーサル脳 MRI 診断用の階層型知識強化事前トレーニング フレームワークを提案します。
具体的には、UniBrain は、日常的な診断からの 24,770 の画像レポートのペアからなる大規模なデータセットを活用しています。
単一の視覚やテキストの特徴、あるいは視覚情報と言語情報の間の総当り的な調整を行う以前の事前トレーニング手法とは異なり、異なる粒度のレポート情報の独自の特性を活用して、階層的な調整メカニズムを構築し、効率を強化します。
特徴学習で。
当社の UniBrain は、クラスの不均衡が深刻な 3 つの現実世界のデータセットと、公開されている BraTS2019 データセットで検証されています。
すべての最先端の診断方法を常に大幅に上回っており、優れた接地性能を提供するだけでなく、特定の疾患の種類については専門の放射線科医と比較して同等の性能を示します。

要約(オリジナル)

Magnetic resonance imaging~(MRI) have played a crucial role in brain disease diagnosis, with which a range of computer-aided artificial intelligence methods have been proposed. However, the early explorations usually focus on the limited types of brain diseases in one study and train the model on the data in a small scale, yielding the bottleneck of generalization. Towards a more effective and scalable paradigm, we propose a hierarchical knowledge-enhanced pre-training framework for the universal brain MRI diagnosis, termed as UniBrain. Specifically, UniBrain leverages a large-scale dataset of 24,770 imaging-report pairs from routine diagnostics. Different from previous pre-training techniques for the unitary vision or textual feature, or with the brute-force alignment between vision and language information, we leverage the unique characteristic of report information in different granularity to build a hierarchical alignment mechanism, which strengthens the efficiency in feature learning. Our UniBrain is validated on three real world datasets with severe class imbalance and the public BraTS2019 dataset. It not only consistently outperforms all state-of-the-art diagnostic methods by a large margin and provides a superior grounding performance but also shows comparable performance compared to expert radiologists on certain disease types.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google