Distributed Radiance Fields for Edge Video Compression and Metaverse Integration in Autonomous Driving

要約

メタバースは、物理要素とデジタル要素を組み合わせた仮想空間であり、没入型で接続されたデジタル世界を作成します。
自律型モビリティでは、仮想プロトタイピングや予測などを提供するエッジ コンピューティングとデジタル ツイン (DT) による新たな可能性が可能になります。
DT は、現実世界のジオメトリ、外観、ダイナミクスをキャプチャする 3D シーン再構成手法を使用して作成できます。
ただし、コネクテッド自律走行車 (CAV) からエッジ サーバーにカメラ画像やビデオなど、メタバース内のリアルタイム DT 更新用のデータを送信すると、ネットワークの輻輳、コスト、遅延が増加し、メタバース サービスに影響を与える可能性があります。
ここでは、分散放射フィールド (RF)、ビデオ圧縮用のマルチアクセス エッジ コンピューティング (MEC) ネットワーク、およびメタバース DT 更新に基づいた新しい方法を提案します。
RF ベースのエンコーダとデコーダは、カメラ画像の表現を作成および復元するために使用されます。
このメソッドは、CARLA シミュレーターからのカメラ画像のデータセットで評価されます。
I フレームの代わりに RF を使用することで、H.264 I フレームと P フレームのペアで最大 80% のデータ節約が達成され、高いピーク信号対雑音比 (PSNR) と構造類似性指数測定 (SSIM) が維持されました。
) 再構成された画像の定性的なメトリクス。
メタバースと自律モビリティの可能な用途と課題についても説明します。

要約(オリジナル)

The metaverse is a virtual space that combines physical and digital elements, creating immersive and connected digital worlds. For autonomous mobility, it enables new possibilities with edge computing and digital twins (DTs) that offer virtual prototyping, prediction, and more. DTs can be created with 3D scene reconstruction methods that capture the real world’s geometry, appearance, and dynamics. However, sending data for real-time DT updates in the metaverse, such as camera images and videos from connected autonomous vehicles (CAVs) to edge servers, can increase network congestion, costs, and latency, affecting metaverse services. Herein, a new method is proposed based on distributed radiance fields (RFs), multi-access edge computing (MEC) network for video compression and metaverse DT updates. RF-based encoder and decoder are used to create and restore representations of camera images. The method is evaluated on a dataset of camera images from the CARLA simulator. Data savings of up to 80% were achieved for H.264 I-frame – P-frame pairs by using RFs instead of I-frames, while maintaining high peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) qualitative metrics for the reconstructed images. Possible uses and challenges for the metaverse and autonomous mobility are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google