Multimodal-GuideNet: Gaze-Probe Bidirectional Guidance in Obstetric Ultrasound Scanning

要約

アイトラッカーは、超音波（US）スキャン中に超音波検査者に視覚的なガイダンスを提供できます。
このようなガイダンスは、経験の浅いオペレーターがプローブを操作して目的の平面を実現する方法に関するスキャンスキルを向上させるために役立つ可能性があります。
この論文では、マルチモーダルガイダンスアプローチ（Multimodal-GuideNet）を提案して、統一されたフレームワーク内で実際の米国のビデオ信号、同期された視線、およびプローブの動きの間の段階的な依存関係をキャプチャします。
視線の動きとプローブの動きの因果関係を理解するために、私たちのモデルはマルチタスク学習を利用して、2つの関連するタスクを共同で学習します。
2つのタスクは、モダリティ対応の空間グラフによって関連付けられ、マルチモダリティ入力間の共起を検出し、有用なクロスモーダル情報を共有します。
決定論的なスキャンパスの代わりに、Multimodal-GuideNetは、実際のスキャンの確率分布を推定することにより、スキャンの多様性を可能にします。
3つの典型的な産科スキャン検査で実行された実験は、新しいアプローチがプローブの動きのガイダンスと視線の動きの予測の両方でシングルタスク学習よりも優れていることを示しています。
Multimodal-GuideNetは、224x288US画像のエラー率が10ピクセル未満の視覚的ガイダンス信号も提供します。

要約(オリジナル)

Eye trackers can provide visual guidance to sonographers during ultrasound (US) scanning. Such guidance is potentially valuable for less experienced operators to improve their scanning skills on how to manipulate the probe to achieve the desired plane. In this paper, a multimodal guidance approach (Multimodal-GuideNet) is proposed to capture the stepwise dependency between a real-world US video signal, synchronized gaze, and probe motion within a unified framework. To understand the causal relationship between gaze movement and probe motion, our model exploits multitask learning to jointly learn two related tasks: predicting gaze movements and probe signals that an experienced sonographer would perform in routine obstetric scanning. The two tasks are associated by a modality-aware spatial graph to detect the co-occurrence among the multi-modality inputs and share useful cross-modal information. Instead of a deterministic scanning path, Multimodal-GuideNet allows for scanning diversity by estimating the probability distribution of real scans. Experiments performed with three typical obstetric scanning examinations show that the new approach outperforms single-task learning for both probe motion guidance and gaze movement prediction. Multimodal-GuideNet also provides a visual guidance signal with an error rate of less than 10 pixels for a 224×288 US image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google