EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM

要約

このペーパーでは、パフォーマンスの低下を最小限に抑えながらエッジ デバイス上で効率的に実行できるように最適化された、セグメント エニシング モデル (SAM) の高速化されたバージョンである EdgeSAM について説明します。
私たちのアプローチには、オリジナルの ViT ベースの SAM 画像エンコーダーを、エッジ デバイスにより適した純粋な CNN ベースのアーキテクチャに蒸留することが含まれます。
私たちはさまざまな蒸留戦略を慎重にベンチマークし、タスク非依存型エンコーダー蒸留では SAM に組み込まれた完全な知識を捕捉できないことを実証しました。
このボトルネックを克服するために、蒸留プロセスにプロンプ​​ト エンコーダーとマスク デコーダーの両方を組み込み、ループ内にボックス プロンプトとポイント プロンプトを含めて、蒸留されたモデルがユーザー入力とマスク生成の間の複雑なダイナミクスを正確にキャプチャできるようにします。
ポイント プロンプト蒸留に起因するデータセットのバイアスの問題を軽減するために、エンコーダー内に軽量モジュールを組み込みます。
その結果、EdgeSAM は元の SAM と比較して 37 倍の速度向上を達成し、MobileSAM/EfficientSAM よりも優れたパフォーマンスを発揮し、エッジ デバイスに導入すると 7 倍以上高速になり、同時に COCO および LVIS の mIoU が 2.3/1.5 倍向上します。
それぞれ3.1/1.6。
これは、iPhone 14 上で 30 FPS 以上で実行できる初の SAM バリアントでもあります。コードとデモは https://www.mmlab-ntu.com/project/edgesam で入手できます。

要約(オリジナル)

This paper presents EdgeSAM, an accelerated variant of the Segment Anything Model (SAM), optimized for efficient execution on edge devices with minimal compromise in performance. Our approach involves distilling the original ViT-based SAM image encoder into a purely CNN-based architecture, better suited for edge devices. We carefully benchmark various distillation strategies and demonstrate that taskagnostic encoder distillation fails to capture the full knowledge embodied in SAM. To overcome this bottleneck, we include both the prompt encoder and mask decoder in the distillation process, with box and point prompts in the loop, so that the distilled model can accurately capture the intricate dynamics between user input and mask generation. To mitigate dataset bias issues stemming from point prompt distillation, we incorporate a lightweight module within the encoder. As a result, EdgeSAM achieves a 37-fold speed increase compared to the original SAM, and it also outperforms MobileSAM/EfficientSAM, being over 7 times as fast when deployed on edge devices while enhancing the mIoUs on COCO and LVIS by 2.3/1.5 and 3.1/1.6, respectively. It is also the first SAM variant that can run at over 30 FPS on an iPhone 14. Code and demo are available at https://www.mmlab-ntu.com/project/edgesam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google