Attention-aware Semantic Communications for Collaborative Inference

要約

ビジョントランスフォーマー（ViT）モデルの効率的な使用に焦点を当て、エッジ推論の領域で通信効率の高い協調推論フレームワークを提案します。
従来の協調推論の分割戦略では通信コストを削減できません。これは、ViT の固有のアーキテクチャがトランス エンコーダ全体にわたって一貫した層次元を維持しているためです。
したがって、パーティショニング戦略を採用する代わりに、私たちのフレームワークはエッジデバイス上で軽量の ViT モデルを利用し、サーバーは複雑な ViT モデルを展開します。
通信効率を高め、サーバーモデルの分類精度を達成するために、1) アテンションを意識したパッチ選択と 2) エントロピーを意識した画像送信の 2 つの戦略を提案します。
アテンションアウェアなパッチ選択では、エッジ デバイスのトランスフォーマー エンコーダによって生成されたアテンション スコアを利用して、分類に重要な画像パッチを識別して選択します。
この戦略により、エッジ デバイスは必須のパッチのみをサーバーに送信できるようになり、通信効率が大幅に向上します。
エントロピーを意識した画像送信では、最小エントロピーをメトリクスとして使用して、エッジ デバイスの軽量モデルに依存するか、サーバー モデルからの推論を要求するかを正確に決定します。
私たちのフレームワークでは、エッジ デバイス上の軽量 ViT モデルがセマンティック エンコーダーとして機能し、分類タスクに必要な重要な画像情報を効率的に識別して選択します。
私たちの実験は、提案された協調推論フレームワークが、ImageNet データセット上のサーバー モデルと比較して精度の損失を最小限に抑えながら、通信オーバーヘッドを 68% 削減できることを示しています。

要約(オリジナル)

We propose a communication-efficient collaborative inference framework in the domain of edge inference, focusing on the efficient use of vision transformer (ViT) models. The partitioning strategy of conventional collaborative inference fails to reduce communication cost because of the inherent architecture of ViTs maintaining consistent layer dimensions across the entire transformer encoder. Therefore, instead of employing the partitioning strategy, our framework utilizes a lightweight ViT model on the edge device, with the server deploying a complicated ViT model. To enhance communication efficiency and achieve the classification accuracy of the server model, we propose two strategies: 1) attention-aware patch selection and 2) entropy-aware image transmission. Attention-aware patch selection leverages the attention scores generated by the edge device’s transformer encoder to identify and select the image patches critical for classification. This strategy enables the edge device to transmit only the essential patches to the server, significantly improving communication efficiency. Entropy-aware image transmission uses min-entropy as a metric to accurately determine whether to depend on the lightweight model on the edge device or to request the inference from the server model. In our framework, the lightweight ViT model on the edge device acts as a semantic encoder, efficiently identifying and selecting the crucial image information required for the classification task. Our experiments demonstrate that the proposed collaborative inference framework can reduce communication overhead by 68% with only a minimal loss in accuracy compared to the server model on the ImageNet dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google