Intelligent Robotic Sonographer: Mutual Information-based Disentangled Reward Learning from Few Demonstrations

要約

超音波（US）イメージングは​​、リアルタイムで放射線を使用しないという利点により、生体測定や内臓の診断に広く使用されています。
ただし、オペレータ間のばらつきにより、得られる画像は超音波検査者の経験に大きく依存します。
この研究では、インテリジェントなロボット超音波検査者が、専門家から学習することで、対象の解剖学的構造を自律的に「探索」し、US プローブを関連する 2D 平面にナビゲートすることを提案しています。
専門家からの基礎となる高レベルの生理学的知識は、自己教師形式でランク付けされたペアごとの画像比較アプローチを使用して、神経報酬関数によって推論されます。
このプロセスは、「超音波検査の言語」を理解することと呼ぶことができます。
患者間の変動を克服する汎化能力を考慮して、ネットワークによって相互情報量を推定し、潜在空間内のタスク関連特徴とドメイン特徴を明示的に解きほぐします。
ロボットによる位置特定は、B モード画像に関連付けられた予測報酬に基づいて粗密モードで実行されます。
提案された報酬推論ネットワークの有効性を検証するために、血管ファントム (「線」ターゲット)、2 種類の体外動物臓器 (鶏の心臓と子羊の腎臓) ファントム (「点」ターゲット)、および体内のファントムで代表的な実験が実行されました。
生体内ヒト頸動脈、それぞれ。
自律収集フレームワークのパフォーマンスをさらに検証するために、3 つのファントム (血管、鶏の心臓、子羊の腎臓) に対して物理的なロボットによる収集が実行されました。
結果は、提案された高度なフレームワークが、目に見えるさまざまなファントムと目に見えないファントム、および生体内ヒト頸動脈データに対して堅牢に機能できることを実証しました。

要約(オリジナル)

Ultrasound (US) imaging is widely used for biometric measurement and diagnosis of internal organs due to the advantages of being real-time and radiation-free. However, due to inter-operator variations, resulting images highly depend on the experience of sonographers. This work proposes an intelligent robotic sonographer to autonomously ‘explore’ target anatomies and navigate a US probe to a relevant 2D plane by learning from the expert. The underlying high-level physiological knowledge from experts is inferred by a neural reward function, using a ranked pairwise image comparisons approach in a self-supervised fashion. This process can be referred to as understanding the ‘language of sonography’. Considering the generalization capability to overcome inter-patient variations, mutual information is estimated by a network to explicitly disentangle the task-related and domain features in latent space. The robotic localization is carried out in coarse-to-fine mode based on the predicted reward associated with B-mode images. To validate the effectiveness of the proposed reward inference network, representative experiments were performed on vascular phantoms (‘line’ target), two types of ex-vivo animal organs (chicken heart and lamb kidney) phantoms (‘point’ target) and in-vivo human carotids, respectively. To further validate the performance of the autonomous acquisition framework, physical robotic acquisitions were performed on three phantoms (vascular, chicken heart, and lamb kidney). The results demonstrated that the proposed advanced framework can robustly work on a variety of seen and unseen phantoms as well as in-vivo human carotid data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google