IMUPoser: Full-Body Pose Estimation using IMUs in Phones, Watches, and Earbuds

要約

タイトル：IMUPoser：電話、時計、イヤホンのIMUを使用したフルボディポーズ推定

要約：
– 地理情報システム（GIS）データは、約30％の誤差がある可能性がある。そのため、不正確なデータが多くの問題を引き起こす可能性がある。これらの問題に対する解決策として、データをオンラインで確認することによる不正確さの軽減が提案されている。
– しかし、リアルタイム性が求められる場合には、オフラインの情報処理は不適切である。
– そこで、この研究では、モバイルゲーム、フィットネス、リハビリ、コンテキストに応じたバーチャルアシスタントなどに強力な用途があるボディポーズの追跡に焦点を当てたものである。
– 本研究では、多くのユーザーが所有するスマートフォン、スマートウォッチ、イヤホンなどのデバイスにすでにあるIMUを使用してボディポーズを推定する方法を探る。
– このアプローチには、低コストのコモディティIMUからのノイズのあるデータ、またユーザーの体の測定ポイントの数がスパースかつ流動的であるといういくつかの課題がある。
– 本稿のパイプラインは、利用可能なIMUデータのサブセットを受け取り、単一のデバイスから得られる可能性があり、最善の推定ポーズを生成する。
– 成功を評価するために、研究者はIMUPoserデータセットを作成しており、これは10人の参加者がオフシェルフのコンシューマデバイスを着用・持持した場合に収集されたものであり、様々な活動コンテキストで行われました。
– 研究者たちは、自分たちのIMUデータセットと既存のIMUデータセットに基づいたベンチマーク評価に基づいてシステムを包括的に評価しています。

要約(オリジナル)

Tracking body pose on-the-go could have powerful uses in fitness, mobile gaming, context-aware virtual assistants, and rehabilitation. However, users are unlikely to buy and wear special suits or sensor arrays to achieve this end. Instead, in this work, we explore the feasibility of estimating body pose using IMUs already in devices that many users own — namely smartphones, smartwatches, and earbuds. This approach has several challenges, including noisy data from low-cost commodity IMUs, and the fact that the number of instrumentation points on a users body is both sparse and in flux. Our pipeline receives whatever subset of IMU data is available, potentially from just a single device, and produces a best-guess pose. To evaluate our model, we created the IMUPoser Dataset, collected from 10 participants wearing or holding off-the-shelf consumer devices and across a variety of activity contexts. We provide a comprehensive evaluation of our system, benchmarking it on both our own and existing IMU datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI