Pruned Lightweight Encoders for Computer Vision

要約

自動運転やドローン制御など、レイテンシが重要なコンピューター ビジョン システムでは、ニューラル ネットワークの推論をリモート コンピューターにオフロードする際に、画像や動画を高速に圧縮する必要があります。
センサーに近いエッジ デバイスでの低レイテンシを確保するために、一定のビットレートとプルーニングされたエンコーディング構成、つまり ASTC と JPEG XS を備えた軽量エンコーダーの使用を提案します。
プルーニングは大きな歪みをもたらしますが、解凍後に圧縮データを使用してニューラル ネットワークを再トレーニングすることで回復できることを示しています。
このようなアプローチでは、ネットワーク アーキテクチャを変更したり、コーディング フォーマットを変更したりする必要はありません。
圧縮されたデータセットを使用して再トレーニングすることにより、ASTC 圧縮による分類精度とセグメンテーション平均交点 (mIoU) の低下を、それぞれ 4.9 ～ 5.0 パーセンテージ ポイント (pp) と 4.4 ～ 4.0 pp に減らしました。
同じ方法で、メイン プロファイルでの JPEG XS 圧縮によって失われた mIoU は 2.7 ～ 2.3 pp に復元されました。エンコード速度に関しては、当社の ASTC エンコーダーの実装は JPEG よりも 2.3 倍高速です。
JPEG XS リファレンス エンコーダーでは低レイテンシーを達成するために最適化が必要ですが、有意フラグ コーディングを無効にすると、再トレーニング後に 0.4 ～ 0.3 mIoU のコストでエンコード時間を 22 ～ 23% 節約できることがわかりました。

要約(オリジナル)

Latency-critical computer vision systems, such as autonomous driving or drone control, require fast image or video compression when offloading neural network inference to a remote computer. To ensure low latency on a near-sensor edge device, we propose the use of lightweight encoders with constant bitrate and pruned encoding configurations, namely, ASTC and JPEG XS. Pruning introduces significant distortion which we show can be recovered by retraining the neural network with compressed data after decompression. Such an approach does not modify the network architecture or require coding format modifications. By retraining with compressed datasets, we reduced the classification accuracy and segmentation mean intersection over union (mIoU) degradation due to ASTC compression to 4.9-5.0 percentage points (pp) and 4.4-4.0 pp, respectively. With the same method, the mIoU lost due to JPEG XS compression at the main profile was restored to 2.7-2.3 pp. In terms of encoding speed, our ASTC encoder implementation is 2.3x faster than JPEG. Even though the JPEG XS reference encoder requires optimizations to reach low latency, we showed that disabling significance flag coding saves 22-23% of encoding time at the cost of 0.4-0.3 mIoU after retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google