Transformers for Green Semantic Communication: Less Energy, More Semantics

要約

セマンティック通信は、個々のシンボルやビットに焦点を当てるのではなく、意味のある効果的な情報を送信することを目的としており、その結果、従来の通信と比較して、遅延、帯域幅使用量の削減、スループットの向上などの利点が得られます。
しかし、セマンティック通信は、セマンティック情報の損失と実際のエネルギー消費の共同効果をベンチマークするための普遍的な指標が必要であるため、重大な課題を引き起こします。
この研究は、「エネルギー最適化セマンティック損失」(EOSL) と呼ばれる新しい多目的損失関数を提示し、セマンティック情報損失とエネルギー消費のバランスをとるという課題に取り組みます。
CPU および GPU のエネルギー使用量を含むトランスフォーマー モデルに関する包括的な実験を通じて、この実験では、EOSL ベースのエンコーダー モデルの選択により、エネルギーを最大 90% 節約できると同時に、推論中の意味的類似性のパフォーマンスで 44% の向上を達成できることが実証されました。
この研究により、エネルギー効率の高いニューラル ネットワークの選択と、より環境に優しいセマンティック通信アーキテクチャの開発への道が開かれます。

要約(オリジナル)

Semantic communication aims to transmit meaningful and effective information rather than focusing on individual symbols or bits, resulting in benefits like reduced latency, bandwidth usage, and higher throughput compared to traditional communication. However, semantic communication poses significant challenges due to the need for universal metrics for benchmarking the joint effects of semantic information loss and practical energy consumption. This research presents a novel multi-objective loss function named ‘Energy-Optimized Semantic Loss’ (EOSL), addressing the challenge of balancing semantic information loss and energy consumption. Through comprehensive experiments on transformer models, including CPU and GPU energy usage, it is demonstrated that EOSL-based encoder model selection can save up to 90\% of energy while achieving a 44\% improvement in semantic similarity performance during inference in this experiment. This work paves the way for energy-efficient neural network selection and the development of greener semantic communication architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google