Tiny-VBF: Resource-Efficient Vision Transformer based Lightweight Beamformer for Ultrasound Single-Angle Plane Wave Imaging

要約

深層学習アーキテクチャを使用した超音波イメージングにおける計算集約型の非リアルタイム ビームフォーミング アルゴリズムの加速は、最近勢いを増しています。
それにもかかわらず、最先端の深層学習技術の複雑さにより、リソースに制約のあるエッジ デバイスへの導入には課題が生じています。
この研究では、単一角度平面波照射によって取得された生の無線周波数チャネル データを処理する、新しいビジョン トランスフォーマー ベースの小型ビームフォーマー (Tiny-VBF) を提案します。
当社の Tiny-VBF の出力は、最先端の深層学習モデルと比較して、非常に低いフレーム レート、つまり 368 x 128 のフレーム サイズで 0.34 GOP/フレームを必要とする高速エンベロープ検出を提供します。
また、in-vitro データセットで Tiny-CNN と比較した場合、コントラストが 8% 向上し、軸方向と横方向の解像度がそれぞれ 5% と 33% 向上しました。
さらに、当社のモデルは、従来の遅延加算 (DAS) ビームフォーマーと比較した場合、コントラストが 4.2% 増加し、軸方向と横方向の解像度がそれぞれ 4% と 20% 向上しました。
さらに、アクセラレータ アーキテクチャを提案し、ハイブリッド量子化スキームを使用して Tiny-VBF モデルを Zynq UltraScale+ MPSoC ZCU104 FPGA に実装し、浮動小数点実装と比較してリソース消費量を 50% 削減しながら、画質を維持します。

要約(オリジナル)

Accelerating compute intensive non-real-time beam-forming algorithms in ultrasound imaging using deep learning architectures has been gaining momentum in the recent past. Nonetheless, the complexity of the state-of-the-art deep learning techniques poses challenges for deployment on resource-constrained edge devices. In this work, we propose a novel vision transformer based tiny beamformer (Tiny-VBF), which works on the raw radio-frequency channel data acquired through single-angle plane wave insonification. The output of our Tiny-VBF provides fast envelope detection requiring very low frame rate, i.e. 0.34 GOPs/Frame for a frame size of 368 x 128 in comparison to the state-of-the-art deep learning models. It also exhibited an 8% increase in contrast and gains of 5% and 33% in axial and lateral resolution respectively when compared to Tiny-CNN on in-vitro dataset. Additionally, our model showed a 4.2% increase in contrast and gains of 4% and 20% in axial and lateral resolution respectively when compared against conventional Delay-and-Sum (DAS) beamformer. We further propose an accelerator architecture and implement our Tiny-VBF model on a Zynq UltraScale+ MPSoC ZCU104 FPGA using a hybrid quantization scheme with 50% less resource consumption compared to the floating-point implementation, while preserving the image quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google