Task-Oriented Cross-System Design for Timely and Accurate Modeling in the Metaverse

要約

この論文では、センシング、通信、予測、制御、レンダリングを考慮した、メタバースにおける現実世界のロボット アームのタイムリーかつ正確なモデリングに必要なパケット レートを最小限に抑えるためのタスク指向のクロスシステム設計フレームワークを確立します。
。
スケジューリングポリシーと予測範囲を最適化するために、関連システムからのドメイン知識を高度な強化学習アルゴリズムである近接ポリシー最適化(PPO)に統合することにより、制約近接ポリシー最適化(C-PPO)アルゴリズムを設計します。
具体的には、ロボット アームの動作を分析するためのヤコビ行列が C-PPO アルゴリズムの状態に含まれており、長期モデリング誤差を特徴付ける状態値関数の条件付きリスク値 (CVaR) は次のようになります。
制約で採用されました。
さらに、ポリシーは、スケジューリング ポリシーと予測範囲をそれぞれ決定する 2 つのブランチ ニューラル ネットワークによって表されます。
アルゴリズムを評価するために、現実世界のロボット アームとそのデジタル モデルを含むプロトタイプをメタバースで構築します。
実験結果は、ドメイン知識がコンバージェンス時間と必要なパケット レートを最大 50% 削減するのに役立ち、クロスシステム設計フレームワークは、必要なパケット レートとモデリング エラーのテール分布の点でベースライン フレームワークよりも優れていることを示しています。
。

要約(オリジナル)

In this paper, we establish a task-oriented cross-system design framework to minimize the required packet rate for timely and accurate modeling of a real-world robotic arm in the Metaverse, where sensing, communication, prediction, control, and rendering are considered. To optimize a scheduling policy and prediction horizons, we design a Constraint Proximal Policy Optimization(C-PPO) algorithm by integrating domain knowledge from relevant systems into the advanced reinforcement learning algorithm, Proximal Policy Optimization(PPO). Specifically, the Jacobian matrix for analyzing the motion of the robotic arm is included in the state of the C-PPO algorithm, and the Conditional Value-at-Risk(CVaR) of the state-value function characterizing the long-term modeling error is adopted in the constraint. Besides, the policy is represented by a two-branch neural network determining the scheduling policy and the prediction horizons, respectively. To evaluate our algorithm, we build a prototype including a real-world robotic arm and its digital model in the Metaverse. The experimental results indicate that domain knowledge helps to reduce the convergence time and the required packet rate by up to 50%, and the cross-system design framework outperforms a baseline framework in terms of the required packet rate and the tail distribution of the modeling error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google