EchoWorld: Learning Motion-Aware World Models for Echocardiography Probe Guidance

要約

心エコー検査は、心血管疾患の検出に不可欠ですが、経験豊富な超音波検査学者に大きく依存しています。
心エコー検査プローブガイダンスシステムは、標準の平面画像を取得するためのリアルタイムの動きの指示を提供し、AIアシストまたは完全自律スキャンの有望なソリューションを提供します。
ただし、このタスクの効果的な機械学習モデルの開発は、心臓の解剖学とプローブの動きと視覚信号の間の複雑な相互作用を把握する必要があるため、依然として困難なままです。
これに対処するために、解剖学的知識と動き誘発性の視覚的ダイナミクスをコードするプローブガイダンスのための動きのある世界モデリングフレームワークであるEchoworldを提示し、過去の視覚運動シーケンスを効果的に活用してガイダンスの精度を強化します。
Echoworldは、モデルがマスクされた解剖学的領域を予測し、プローブ調整の視覚的結果をシミュレートする世界モデリングの原則に触発されたトレーニング前の戦略を採用しています。
この事前に訓練されたモデルに基づいて構築され、微調整段階で、歴史的な視覚運動データを効果的に統合し、正確で適応的なプローブガイダンスを可能にするモーション認識の注意メカニズムを導入します。
200を超えるルーチンスキャンから100万枚以上の超音波画像で訓練されたEchoworldは、定性分析によって検証されているように、重要な心エコー知識を効果的に捉えています。
さらに、この方法は、既存の視覚的バックボーンやガイダンスフレームワークと比較してガイダンスエラーを大幅に削減し、単一フレームとシーケンシャルの評価プロトコルの両方に優れています。
コードはhttps://github.com/leaplabthu/echoworldで入手できます。

要約(オリジナル)

Echocardiography is crucial for cardiovascular disease detection but relies heavily on experienced sonographers. Echocardiography probe guidance systems, which provide real-time movement instructions for acquiring standard plane images, offer a promising solution for AI-assisted or fully autonomous scanning. However, developing effective machine learning models for this task remains challenging, as they must grasp heart anatomy and the intricate interplay between probe motion and visual signals. To address this, we present EchoWorld, a motion-aware world modeling framework for probe guidance that encodes anatomical knowledge and motion-induced visual dynamics, while effectively leveraging past visual-motion sequences to enhance guidance precision. EchoWorld employs a pre-training strategy inspired by world modeling principles, where the model predicts masked anatomical regions and simulates the visual outcomes of probe adjustments. Built upon this pre-trained model, we introduce a motion-aware attention mechanism in the fine-tuning stage that effectively integrates historical visual-motion data, enabling precise and adaptive probe guidance. Trained on more than one million ultrasound images from over 200 routine scans, EchoWorld effectively captures key echocardiographic knowledge, as validated by qualitative analysis. Moreover, our method significantly reduces guidance errors compared to existing visual backbones and guidance frameworks, excelling in both single-frame and sequential evaluation protocols. Code is available at https://github.com/LeapLabTHU/EchoWorld.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google