EchoCoTr: Estimation of the Left Ventricular Ejection Fraction from Spatiotemporal Echocardiography

要約

特に心エコーなどの医用画像において、効率的な映像理解を行うためには、時空間特徴の学習が重要な課題となります。
畳み込みニューラル ネットワーク (CNN) と最近のビジョン トランスフォーマー (ViT) は、それぞれに制限がある最も一般的に使用される方法です。
CNN は、ローカル コンテキストのキャプチャは得意ですが、ビデオ フレーム全体でグローバルな情報を学習することはできません。
一方、ビジョン トランスフォーマーは、グローバルな詳細と長いシーケンスを組み込むことができますが、計算コストが高く、通常、トレーニングにより多くのデータを必要とします。
このホワイト ペーパーでは、心エコー スキャンなどの医療用ビデオ データをトレーニングする際に通常直面する制限に対処する方法を提案します。
私たちが提案するアルゴリズム (EchoCoTr) は、ビジョン トランスフォーマーと CNN の強度を利用して、超音波ビデオの左心室駆出率 (LVEF) を推定する問題に取り組みます。
MAE が 3.95、$R^2$ が 0.82 の EchoNet-Dynamic データセットで、提案された方法がこれまでの最先端の作業よりも優れていることを示します。
これらの結果は、公開されたすべての研究と比較して顕著な改善を示しています。
さらに、ViT や BERT を含むいくつかのアルゴリズムとの広範なアブレーションと比較を示します。
コードは https://github.com/BioMedIA-MBZUAI/EchoCoTr で入手できます。

要約(オリジナル)

Learning spatiotemporal features is an important task for efficient video understanding especially in medical images such as echocardiograms. Convolutional neural networks (CNNs) and more recent vision transformers (ViTs) are the most commonly used methods with limitations per each. CNNs are good at capturing local context but fail to learn global information across video frames. On the other hand, vision transformers can incorporate global details and long sequences but are computationally expensive and typically require more data to train. In this paper, we propose a method that addresses the limitations we typically face when training on medical video data such as echocardiographic scans. The algorithm we propose (EchoCoTr) utilizes the strength of vision transformers and CNNs to tackle the problem of estimating the left ventricular ejection fraction (LVEF) on ultrasound videos. We demonstrate how the proposed method outperforms state-of-the-art work to-date on the EchoNet-Dynamic dataset with MAE of 3.95 and $R^2$ of 0.82. These results show noticeable improvement compared to all published research. In addition, we show extensive ablations and comparisons with several algorithms, including ViT and BERT. The code is available at https://github.com/BioMedIA-MBZUAI/EchoCoTr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google