Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse

要約

メタバースは、拡張現実と永続的な仮想世界を融合させた急成長中の集団仮想空間であり、没入型でインタラクティブな体験をサポートするための高度な人工知能 (AI) と通信テクノロジを必要とします。
フェデレーテッド ラーニング (FL) は、データ プライバシーを維持しながら AI モデルを共同でトレーニングするための有望な手法として浮上しています。
ただし、FL は、特にニューラル ネットワーク (NN) モデルにおいて、高い通信オーバーヘッドや大量の計算要求などの課題に直面しています。
これらの問題に対処するために、私たちは、新たな基盤モデル向けに統合された統合分割学習および超次元コンピューティング (FSL-HDC) フレームワークを提案します。
この新しいアプローチは、通信コスト、計算負荷、プライバシー リスクを軽減し、メタバース内のリソースに制約のあるエッジ デバイスに特に適しており、リアルタイムの応答性の高いインタラクションを保証します。
さらに、送信電力と帯域幅を同時に最適化する最適化アルゴリズムを導入し、すべてのユーザーからサーバーへの最大送信時間を最小限に抑えます。
MNIST データセットに基づくシミュレーション結果では、FSL-HDC の精度率は約 87.5% であり、FL-HDC よりもわずかに低いことがわかります。
ただし、FSL-HDC は、FSL-NN の約 3.733 倍という大幅に速い収束速度を示し、非 IID データ分布に対する堅牢性を示します。
さらに、私たちが提案した最適化アルゴリズムは、最大送信時間をベースラインと比較して最大 64% 短縮できます。

要約(オリジナル)

The Metaverse, a burgeoning collective virtual space merging augmented reality and persistent virtual worlds, necessitates advanced artificial intelligence (AI) and communication technologies to support immersive and interactive experiences. Federated learning (FL) has emerged as a promising technique for collaboratively training AI models while preserving data privacy. However, FL faces challenges such as high communication overhead and substantial computational demands, particularly for neural network (NN) models. To address these issues, we propose an integrated federated split learning and hyperdimensional computing (FSL-HDC) framework for emerging foundation models. This novel approach reduces communication costs, computation load, and privacy risks, making it particularly suitable for resource-constrained edge devices in the Metaverse, ensuring real-time responsive interactions. Additionally, we introduce an optimization algorithm that concurrently optimizes transmission power and bandwidth to minimize the maximum transmission time among all users to the server. The simulation results based on the MNIST dataset indicate that FSL-HDC achieves an accuracy rate of approximately 87.5%, which is slightly lower than that of FL-HDC. However, FSL-HDC exhibits a significantly faster convergence speed, approximately 3.733x that of FSL-NN, and demonstrates robustness to non-IID data distributions. Moreover, our proposed optimization algorithm can reduce the maximum transmission time by up to 64% compared with the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google