MetaFi: Device-Free Pose Estimation via Commodity WiFi for Metaverse Avatar Simulation

要約

アバターとは、さまざまな活動に従事し、メタバースの他のオブジェクトと対話できる、仮想世界の物理的なユーザーの代表を指します。
アバターをシミュレートするには、人間の姿勢を正確に推定する必要があります。
カメラベースのソリューションは優れたパフォーマンスを発揮しますが、特にスマート ホームでは、さまざまな照明によって引き起こされるプライバシーの問題やパフォーマンスの低下に直面します。
この論文では、メタバースアバターシミュレーション、つまりMetaFiのためのWiFiベースのIoT対応の人間の姿勢推定スキームを提案します。
具体的には、チャネル状態情報を人間の姿勢ランドマークにマッピングするために、カスタマイズされた畳み込み層と残差ブロックを使用してディープ ニューラル ネットワークが設計されています。
正確なコンピューター ビジョン モデルから注釈を学習することが強制されるため、クロスモーダルな監視が実現します。
WiFi はどこにでもあり、照明に対して堅牢であるため、スマート ホームでのアバター アプリケーションの実現可能なソリューションとなっています。
実験は現実の世界で行われ、結果は MetaFi が 95.23% の PCK@50 で非常に高いパフォーマンスを達成することを示しています。

要約(オリジナル)

Avatar refers to a representative of a physical user in the virtual world that can engage in different activities and interact with other objects in metaverse. Simulating the avatar requires accurate human pose estimation. Though camera-based solutions yield remarkable performance, they encounter the privacy issue and degraded performance caused by varying illumination, especially in smart home. In this paper, we propose a WiFi-based IoT-enabled human pose estimation scheme for metaverse avatar simulation, namely MetaFi. Specifically, a deep neural network is designed with customized convolutional layers and residual blocks to map the channel state information to human pose landmarks. It is enforced to learn the annotations from the accurate computer vision model, thus achieving cross-modal supervision. WiFi is ubiquitous and robust to illumination, making it a feasible solution for avatar applications in smart home. The experiments are conducted in the real world, and the results show that the MetaFi achieves very high performance with a PCK@50 of 95.23%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google