Pruning Sparse Tensor Neural Networks Enables Deep Learning for 3D Ultrasound Localization Microscopy

要約

超音波局在化顕微鏡 (ULM) は、生体内での微小血管の深部でのイメージングを 10 ミクロン程度の解像度で可能にする非侵襲的技術です。
ULM は、血流に注入された個々のマイクロバブルのサブ解像度の位置特定に基づいています。
血管構造全体のマッピングには、通常は数分間かけて取得される数千のフレームからのマイクロバブルの軌跡を蓄積する必要があります。
ULM 取得時間はマイクロバブル濃度を高めることで短縮できますが、マイクロバブルを個別に検出するにはより高度なアルゴリズムが必要です。
このタスクにはいくつかの深層学習アプローチが提案されていますが、関連する大量のメモリ要件のせいで、依然として 2D イメージングに限定されています。
ここでは、スパース テンソル ニューラル ネットワークを使用して 2D でのメモリ使用量を削減し、深層学習アーキテクチャを 3D に拡張するためのメモリ要件のスケーリングを改善することを提案します。
私たちは、超音波データをスパース形式に効率的に変換するためのいくつかのアプローチを研究し、それに伴う情報損失の影響を研究します。
2D に適用すると、疎定式化によりメモリ要件が 2 分の 1 に削減されますが、高密度ネットワークと比較した場合、パフォーマンスはわずかに低下します。
3D では、提案されたアプローチはメモリ要件を 2 桁削減し、高濃度設定では従来の ULM を大幅に上回ります。
3D ULM のスパース テンソル ニューラル ネットワークにより、2D ULM の高密度ディープ ラーニング ベースの手法と同じ利点、つまりより高い濃度の in silico の使用と取得時間の短縮が可能になることを示します。

要約(オリジナル)

Ultrasound Localization Microscopy (ULM) is a non-invasive technique that allows for the imaging of micro-vessels in vivo, at depth and with a resolution on the order of ten microns. ULM is based on the sub-resolution localization of individual microbubbles injected in the bloodstream. Mapping the whole angioarchitecture requires the accumulation of microbubbles trajectories from thousands of frames, typically acquired over a few minutes. ULM acquisition times can be reduced by increasing the microbubble concentration, but requires more advanced algorithms to detect them individually. Several deep learning approaches have been proposed for this task, but they remain limited to 2D imaging, in part due to the associated large memory requirements. Herein, we propose to use sparse tensor neural networks to reduce memory usage in 2D and to improve the scaling of the memory requirement for the extension of deep learning architecture to 3D. We study several approaches to efficiently convert ultrasound data into a sparse format and study the impact of the associated loss of information. When applied in 2D, the sparse formulation reduces the memory requirements by a factor 2 at the cost of a small reduction of performance when compared against dense networks. In 3D, the proposed approach reduces memory requirements by two order of magnitude while largely outperforming conventional ULM in high concentration settings. We show that Sparse Tensor Neural Networks in 3D ULM allow for the same benefits as dense deep learning based method in 2D ULM i.e. the use of higher concentration in silico and reduced acquisition time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google