Q-Segment: Segmenting Images In-Sensor for Vessel-Based Medical Diagnosis

要約

このペーパーでは、深層学習モデルをセンサー内に直接展開することへの関心の高まりについて取り上げます。
量子化されたリアルタイム セグメンテーション アルゴリズムである「Q-Segment」を紹介し、2 つの低消費電力エッジ ビジョン プラットフォーム、つまりセンサー内プロセッサを搭載した Sony IMX500 と低消費電力プロセッサを搭載した Sony Spresense の包括的な評価を実施します。
マルチコア ARM Cortex-M マイクロコントローラー。
このモデルの主な目標の 1 つは、血管ベースの医療診断のためのエンドツーエンドの画像セグメンテーションを実現することです。
IMX500 プラットフォームに導入された Q セグメントは、センサー内でわずか 1.9 ミリ秒という超低推論時間とわずか 5.7 mJ のエネルギー消費を実現します。
提案されたネットワークを、さまざまなプラットフォーム上の既存のネットワークの 75 倍 (ERFNet との比較) 優れたパフォーマンスと比較します。
このネットワーク アーキテクチャでは、スキップ接続を備えたエンコーダ/デコーダ構造が採用されており、CHASE データセットでのバイナリ精度は 97.25%、受信機動作特性曲線下面積 (AUC) は 96.97% になります。
この研究は、エッジベースの画像セグメンテーションに関する貴重な洞察に貢献し、低電力環境に合わせた効率的なアルゴリズムの基礎を築きます。

要約(オリジナル)

This paper addresses the growing interest in deploying deep learning models directly in-sensor. We present ‘Q-Segment’, a quantized real-time segmentation algorithm, and conduct a comprehensive evaluation on two low-power edge vision platforms, namely Sony IMX500, which has an in-sensors processor, and Sony Spresense, a low-power multi-core ARM Cortex-M microcontroller. One of the main goals of the model is to achieve end-to-end image segmentation for vessel-based medical diagnosis. Deployed on the IMX500 platform, Q-Segment achieves ultra-low inference time in-sensor of only 1.9 ms and energy consumption of only 5.7 mJ. We compare the proposed network with outperforming existing networks on various platforms by a factor of 75x (compared to ERFNet). The network architecture employs an encoder-decoder structure with skip connections, and results in a binary accuracy of 97.25% and an Area Under the Receiver Operating Characteristic Curve (AUC) of 96.97% on the CHASE dataset. This research contributes valuable insights into edge-based image segmentation, laying the foundation for efficient algorithms tailored to low-power environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google