Style Transfer Enabled Sim2Real Framework for Efficient Learning of Robotic Ultrasound Image Analysis Using Simulated Data

要約

ロボット超音波 (US) システムは、US 検査をより簡単かつ正確にする大きな可能性を示しています。
最近、ロボットによる US 取得タスクのための自動 US 画像解釈を実現するために、さまざまな機械学習技術が提案されています。
ただし、トレーニング用に実際の米国の画像データを大量に取得するには、通常、費用がかかるか、一部の臨床アプリケーションでは実行不可能です。
別の方法は、トレーニング用の合成 US データを生成するシミュレーターを構築することですが、シミュレートされた US 画像と実際の US 画像の差により、モデルのパフォーマンスが低下する可能性があります。
この研究では、現実世界への展開のためにシミュレートされたデータのみに基づいてロボットによる US 画像分析タスクを効率的に学習するための Sim2Real フレームワークを紹介します。
教師なし対比学習に基づいてスタイル転送モジュールが提案され、実際の US 画像をシミュレーション スタイルに変換するための前処理ステップとして使用されます。
その後、タスク関連モデルが CNN とビジョン トランスフォーマーを組み合わせて設計され、一般化能力が向上したタスク依存の予測が生成されます。
ロボット経食道心エコー検査 (TEE) の US 画像に基づいてプローブの位置を予測する画像回帰タスクにおけるこの方法の有効性を実証します。
私たちの結果は、シミュレートされた米国データと少量のラベルなし実際のデータのみをトレーニングに使用することで、私たちの方法が半教師あり学習方法および完全教師あり学習方法と同等のパフォーマンスを達成できることを示しています。
さらに、以前に提案したCTベースのUS画像シミュレーション手法の有効性も間接的に確認されました。

要約(オリジナル)

Robotic ultrasound (US) systems have shown great potential to make US examinations easier and more accurate. Recently, various machine learning techniques have been proposed to realize automatic US image interpretation for robotic US acquisition tasks. However, obtaining large amounts of real US imaging data for training is usually expensive or even unfeasible in some clinical applications. An alternative is to build a simulator to generate synthetic US data for training, but the differences between simulated and real US images may result in poor model performance. This work presents a Sim2Real framework to efficiently learn robotic US image analysis tasks based only on simulated data for real-world deployment. A style transfer module is proposed based on unsupervised contrastive learning and used as a preprocessing step to convert the real US images into the simulation style. Thereafter, a task-relevant model is designed to combine CNNs with vision transformers to generate the task-dependent prediction with improved generalization ability. We demonstrate the effectiveness of our method in an image regression task to predict the probe position based on US images in robotic transesophageal echocardiography (TEE). Our results show that using only simulated US data and a small amount of unlabelled real data for training, our method can achieve comparable performance to semi-supervised and fully supervised learning methods. Moreover, the effectiveness of our previously proposed CT-based US image simulation method is also indirectly confirmed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google