Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach

要約

非直交多重アクセス (NOMA) により、複数のユーザーが同じ周波数帯域を共有できるようになり、送信と反射を同時に行う再構成可能インテリジェント サーフェス (STAR-RIS) により、360 度の全空間カバレッジが提供され、送信と反射の両方が最適化されてネットワーク パフォーマンスが向上し、
室内環境の動的制御。
ただし、STAR-RIS を屋内に導入すると、干渉の軽減、消費電力、リアルタイム構成の点で課題が生じます。
この研究では、屋内通信のために複数のアクセス ポイント (AP)、STAR-RIS、NOMA を利用する新しいネットワーク アーキテクチャが提案されています。
これらに対処するために、ユーザー割り当て、アクセス ポイント (AP) ビームフォーミング、STAR-RIS 位相制御を含む最適化問題を定式化します。
複雑な問題を効率的に解決するために分解アプローチが使用され、ユーザー AP の割り当てには多対 1 のマッチング アルゴリズムが、リソース管理には K-means クラスタリングが採用されています。
さらに、マルチエージェント深層強化学習 (MADRL) を活用して、STAR-RIS の制御を最適化します。
提案された MADRL フレームワーク内では、各意思決定変数が独立したエージェントとして機能する新しいアプローチが導入され、共同学習と意思決定が可能になります。
MADRL フレームワークは、凸近似 (CA) を組み込むことで強化されており、逐次凸近似 (SCA) からの次善のソリューションを通じてポリシー学習を加速し、より迅速な適応と収束につながります。
シミュレーションでは、ベースラインのアプローチと比較して、ネットワーク ユーティリティが大幅に向上していることが実証されています。

要約(オリジナル)

Non-orthogonal multiple access (NOMA) enables multiple users to share the same frequency band, and simultaneously transmitting and reflecting reconfigurable intelligent surface (STAR-RIS) provides 360-degree full-space coverage, optimizing both transmission and reflection for improved network performance and dynamic control of the indoor environment. However, deploying STAR-RIS indoors presents challenges in interference mitigation, power consumption, and real-time configuration. In this work, a novel network architecture utilizing multiple access points (APs), STAR-RISs, and NOMA is proposed for indoor communication. To address these, we formulate an optimization problem involving user assignment, access point (AP) beamforming, and STAR-RIS phase control. A decomposition approach is used to solve the complex problem efficiently, employing a many-to-one matching algorithm for user-AP assignment and K-means clustering for resource management. Additionally, multi-agent deep reinforcement learning (MADRL) is leveraged to optimize the control of the STAR-RIS. Within the proposed MADRL framework, a novel approach is introduced in which each decision variable acts as an independent agent, enabling collaborative learning and decision making. The MADRL framework is enhanced by incorporating convex approximation (CA), which accelerates policy learning through suboptimal solutions from successive convex approximation (SCA), leading to faster adaptation and convergence. Simulations demonstrate significant improvements in network utility compared to baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google