LimitNet: Progressive, Content-Aware Image Offloading for Extremely Weak Devices & Networks

要約

IoTデバイスのハードウェア機能は限られており、多くの場合、遠隔地に展開されます。
その結果、高度なビジョンモデルは、このようなデバイスの処理機能とストレージ機能を上回り、クラウドへのタスクのオフロードを必要とします。
ただし、リモートエリアは、帯域幅が限られている、パケット損失率が高く、極端なデューティサイクルを備えたLPWANSテクノロジーに依存していることが多く、これにより、時間に敏感な推論のための高速オフロードが困難になります。
弱いデバイスに展開できる今日のアプローチは、非進行性のビットストリームを生成します。したがって、帯域幅またはパケットの損失が限られているため、締め切りでクラウドでデータが部分的にのみ利用可能である場合、それらのデコード品質は強く苦しみます。
このホワイトペーパーでは、非常に弱いデバイスとネットワーク向けに設計されたプログレッシブでコンテンツを意識した画像圧縮モデルであるLimitNetを紹介します。
LimiteNetの軽量プログレッシブエンコーダは、画像のコンテンツに基づいて送信中に重要なデータを優先します。これにより、部分的なデータの可用性があっても、クラウドが推論を実行する機会が得られます。
実験結果は、LimiteNetがSOTAと比較して平均して14.01 P.Pを達成することを示しています。
（パーセンテージポイント）ImagENET1000の精度が高く、CIFAR100で18.01 pp、およびCoCoで0.1高MAP@0.5。
また、平均して、LimitNetは、SOTAと比較して、ImagENET1000で帯域幅を61.24％、CIFAR100で83.68％、COCOデータセットで42.25％節約しますが、STM32F7（Cortex-M7）のJPEG（固定品質）と比較して4％以上のエンコードがあります。

要約(オリジナル)

IoT devices have limited hardware capabilities and are often deployed in remote areas. Consequently, advanced vision models surpass such devices’ processing and storage capabilities, requiring offloading of such tasks to the cloud. However, remote areas often rely on LPWANs technology with limited bandwidth, high packet loss rates, and extremely low duty cycles, which makes fast offloading for time-sensitive inference challenging. Today’s approaches, which are deployable on weak devices, generate a non-progressive bit stream, and therefore, their decoding quality suffers strongly when data is only partially available on the cloud at a deadline due to limited bandwidth or packet losses. In this paper, we introduce LimitNet, a progressive, content-aware image compression model designed for extremely weak devices and networks. LimitNet’s lightweight progressive encoder prioritizes critical data during transmission based on the content of the image, which gives the cloud the opportunity to run inference even with partial data availability. Experimental results demonstrate that LimitNet, on average, compared to SOTA, achieves 14.01 p.p. (percentage point) higher accuracy on ImageNet1000, 18.01 pp on CIFAR100, and 0.1 higher mAP@0.5 on COCO. Also, on average, LimitNet saves 61.24% bandwidth on ImageNet1000, 83.68% on CIFAR100, and 42.25% on the COCO dataset compared to SOTA, while it only has 4% more encoding time compared to JPEG (with a fixed quality) on STM32F7 (Cortex-M7).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google