Streamlining Multimodal Data Fusion in Wireless Communication and Sensor Networks

要約

この論文では、VQVAE (Vector-Quantized Variational Autoencoder) アーキテクチャに基づくマルチモーダル データ フュージョンの新しいアプローチを紹介します。
提案された方法は、ペアのMNIST-SVHNデータとWiFiスペクトログラムデータで優れた再構成パフォーマンスを達成するのにシンプルですが効果的です。
さらに、マルチモーダル VQVAE モデルは 5G 通信シナリオに拡張され、エンドツーエンドのチャネル状態情報 (CSI) フィードバック システムが実装されて、基地局 (eNodeB) とユーザー機器 (UE) の間で送信されるデータが圧縮されます。
パフォーマンスを大幅に低下させることなく。
提案されたモデルは、さまざまなタイプの入力データ (CSI、スペクトログラム、自然画像など) の識別圧縮特徴空間を学習するため、計算リソースが限られているアプリケーションに適したソリューションになります。

要約(オリジナル)

This paper presents a novel approach for multimodal data fusion based on the Vector-Quantized Variational Autoencoder (VQVAE) architecture. The proposed method is simple yet effective in achieving excellent reconstruction performance on paired MNIST-SVHN data and WiFi spectrogram data. Additionally, the multimodal VQVAE model is extended to the 5G communication scenario, where an end-to-end Channel State Information (CSI) feedback system is implemented to compress data transmitted between the base-station (eNodeB) and User Equipment (UE), without significant loss of performance. The proposed model learns a discriminative compressed feature space for various types of input data (CSI, spectrograms, natural images, etc), making it a suitable solution for applications with limited computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google