Intelligent Robotic Sonographer: Mutual Information-based Disentangled Reward Learning from Few Demonstrations

要約

超音波（US）イメージングは​​、リアルタイムで放射線を使用しないという利点により、生体測定や内臓の診断に広く使用されています。
ただし、オペレータ間のばらつきが大きいため、結果として得られる画像はオペレータの経験に大きく依存します。
この研究では、インテリジェントなロボット超音波検査者が、専門家から学習することで、対象の解剖学的構造を自律的に「探索」し、US プローブを関連する 2D 平面にナビゲートすることが提案されています。
専門家からの基礎となる高レベルの生理学的知識は、自己教師形式でランク付けされたペアごとの画像比較アプローチを使用して、神経報酬関数によって推論されます。
このプロセスは、「超音波検査の言語」を理解することと呼ぶことができます。
患者間の変動を克服する汎化能力を考慮して、ネットワークによって相互情報量を推定し、潜在空間内のタスク関連およびドメインの特徴を明示的に抽出します。
さらに、専門家のデモンストレーションの品質を自動的に評価および考慮するために、ガウス分布ベースのフィルターが開発されています。
ロボットによる位置特定は、B モード画像に関連付けられた予測報酬に基づいて粗密モードで実行されます。
提案されたアプローチの性能を実証するために、「線」ターゲットと「点」ターゲットの代表的な実験が、それぞれ血管ファントムと 2 つの体外動物臓器ファントム (鶏の心臓と子羊の腎臓) で実行されます。
結果は、提案された高度なフレームワークがさまざまな種類の既知および未確認のファントムに対して堅牢に動作できることを実証しました。

要約(オリジナル)

Ultrasound (US) imaging is widely used for biometric measurement and diagnosis of internal organs due to the advantages of being real-time and radiation-free. However, due to high inter-operator variability, resulting images highly depend on operators’ experience. In this work, an intelligent robotic sonographer is proposed to autonomously ‘explore’ target anatomies and navigate a US probe to a relevant 2D plane by learning from expert. The underlying high-level physiological knowledge from experts is inferred by a neural reward function, using a ranked pairwise image comparisons approach in a self-supervised fashion. This process can be referred to as understanding the ‘language of sonography’. Considering the generalization capability to overcome inter-patient variations, mutual information is estimated by a network to explicitly extract the task-related and domain features in latent space. Besides, a Gaussian distribution-based filter is developed to automatically evaluate and take the quality of the expert’s demonstrations into account. The robotic localization is carried out in coarse-to-fine mode based on the predicted reward associated to B-mode images. To demonstrate the performance of the proposed approach, representative experiments for the ‘line’ target and ‘point’ target are performed on vascular phantom and two ex-vivo animal organ phantoms (chicken heart and lamb kidney), respectively. The results demonstrated that the proposed advanced framework can robustly work on different kinds of known and unseen phantoms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google