MCAT: Visual Query-Based Localization of Standard Anatomical Clips in Fetal Ultrasound Videos Using Multi-Tier Class-Aware Token Transformer

要約

胎児超音波（US）ビデオにおける正確な標準平面取得は、胎児の成長評価、異常検出、および臨床ガイドラインの遵守に重要です。
ただし、手動で標準のフレームを選択することは時間がかかり、ゾン内およびゾノグラファー間の変動性が発生しやすくなります。
既存の方法は、主に標準フレームをキャプチャし、異なる解剖学にわたって入力フレームを分類する画像ベースのアプローチに依存しています。
これは、ビデオ獲得の動的な性質とその解釈を無視します。
これらの課題に対処するために、視覚的なクエリベースのビデオクリップローカリゼーション（VQ-VCL）メソッドであるマルチティアクラスアウェアトークントランス（MCAT）を導入して、ソノグラフ人が迅速な米国のスイープをキャプチャできるようにします。
その後、分析したい解剖学の視覚的なクエリを提供することにより、MCATはその解剖学の標準フレームを含むビデオクリップを返し、潜在的な異常の徹底的なスクリーニングを促進します。
2つの超音波ビデオデータセットと、EGO4Dに基づく自然画像VQ-VCLデータセットでMCATを評価します。
私たちのモデルは、96％少ないトークンを使用して、超音波データセットで10％および13％MIOU、EGO4Dデータセットで5.35％MIOUよりも最先端の方法よりも優れています。
MCATの効率と精度は、特に低中所得国（LMIC）において、公衆衛生に大きな潜在的な意味を持ち、標準的な飛行機の獲得を合理化し、米国ベースのスクリーニング、診断、およびソノグラフィーがより多くの患者を調べることができるようにすることにより、出生前ケアを強化する可能性があります。

要約(オリジナル)

Accurate standard plane acquisition in fetal ultrasound (US) videos is crucial for fetal growth assessment, anomaly detection, and adherence to clinical guidelines. However, manually selecting standard frames is time-consuming and prone to intra- and inter-sonographer variability. Existing methods primarily rely on image-based approaches that capture standard frames and then classify the input frames across different anatomies. This ignores the dynamic nature of video acquisition and its interpretation. To address these challenges, we introduce Multi-Tier Class-Aware Token Transformer (MCAT), a visual query-based video clip localization (VQ-VCL) method, to assist sonographers by enabling them to capture a quick US sweep. By then providing a visual query of the anatomy they wish to analyze, MCAT returns the video clip containing the standard frames for that anatomy, facilitating thorough screening for potential anomalies. We evaluate MCAT on two ultrasound video datasets and a natural image VQ-VCL dataset based on Ego4D. Our model outperforms state-of-the-art methods by 10% and 13% mIoU on the ultrasound datasets and by 5.35% mIoU on the Ego4D dataset, using 96% fewer tokens. MCAT’s efficiency and accuracy have significant potential implications for public health, especially in low- and middle-income countries (LMICs), where it may enhance prenatal care by streamlining standard plane acquisition, simplifying US-based screening, diagnosis and allowing sonographers to examine more patients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google