Q-Segment: Segmenting Images In-Sensor for Vessel-Based Medical Diagnosis

要約

このペーパーでは、深層学習モデルをセンサー内に直接展開することへの関心の高まりについて取り上げます。
量子化されたリアルタイム セグメンテーション アルゴリズムである「Q セグメント」を紹介し、センサー内プロセッサである Sony IMX500 を備えた低電力エッジ ビジョン プラットフォームの包括的な評価を実施します。
このモデルの主な目標の 1 つは、血管ベースの医療診断のためのエンドツーエンドの画像セグメンテーションを実現することです。
IMX500 プラットフォームに導入された Q セグメントは、センサー内でわずか 0.23 ミリ秒という超低推論時間とわずか 72mW の消費電力を実現します。
提案されたネットワークを、浮動小数点モデルと量子化モデルの両方の最先端のモデルと比較し、提案されたソリューションがさまざまなプラットフォーム上の既存のネットワークよりもコンピューティング効率において、たとえば ERFNet と比較して 75 倍優れていることを実証しました。
このネットワークはスキップ接続を備えたエンコーダー/デコーダー構造を採用しており、CHASE データセットでのバイナリ精度は 97.25%、受信機動作特性曲線下面積 (AUC) は 96.97% になります。
また、IMX500 プロセッシング コアと、低電力マルチコア ARM Cortex-M マイクロコントローラーである Sony Spresense、およびシングルコア ARM Cortex-M4 との比較も示し、エンドツーエンドでセンサー内処理を実現できることを示しています。
– 低遅延 (17 ミリ秒) と消費電力 (254mW) を実現します。
この研究は、エッジベースの画像セグメンテーションに関する貴重な洞察に貢献し、低電力環境に合わせた効率的なアルゴリズムの基礎を築きます。

要約(オリジナル)

This paper addresses the growing interest in deploying deep learning models directly in-sensor. We present ‘Q-Segment’, a quantized real-time segmentation algorithm, and conduct a comprehensive evaluation on a low-power edge vision platform with an in-sensors processor, the Sony IMX500. One of the main goals of the model is to achieve end-to-end image segmentation for vessel-based medical diagnosis. Deployed on the IMX500 platform, Q-Segment achieves ultra-low inference time in-sensor only 0.23 ms and power consumption of only 72mW. We compare the proposed network with state-of-the-art models, both float and quantized, demonstrating that the proposed solution outperforms existing networks on various platforms in computing efficiency, e.g., by a factor of 75x compared to ERFNet. The network employs an encoder-decoder structure with skip connections, and results in a binary accuracy of 97.25% and an Area Under the Receiver Operating Characteristic Curve (AUC) of 96.97% on the CHASE dataset. We also present a comparison of the IMX500 processing core with the Sony Spresense, a low-power multi-core ARM Cortex-M microcontroller, and a single-core ARM Cortex-M4 showing that it can achieve in-sensor processing with end-to-end low latency (17 ms) and power concumption (254mW). This research contributes valuable insights into edge-based image segmentation, laying the foundation for efficient algorithms tailored to low-power environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google