Real-time, low-cost multi-person 3D pose estimation

要約

コンピュータ ビジョンで人間の解剖学的構造を追跡するプロセスは姿勢推定と呼ばれ、ゲームから監視に至るまでの分野で使用されています。
従来、3 次元の姿勢推定には、複数のリンクされた強度カメラや高解像度の飛行時間型カメラなど、深度画像を生成するための高度な機器が必要でした。
ただし、使用可能な技術のサイズ、消費電力、重量、およびコストに重大な制約が課せられる消費者電子機器などのアプリケーションがあります。
ここでは、計算イメージング法が正確な姿勢推定を達成し、はるかに単純なタスク用に設計された飛行時間型センサーの明らかな制限を克服できることを示します。
私たちが使用するセンサーは、消費者向けのモバイル デバイスにすでに広く組み込まれています。空間解像度が 4$\times$4 ピクセルと低いにもかかわらず、私たちが提案する Pixels2Pose システムは、そのデータを正確な深度マップと複数の人物の 3D ポーズ データに変換します。
センサーから 3 m の距離。
32$\times$32 の解像度で深度マップを生成し、フレーム レート 7 fps でわずか $\approx$10 cm の誤差で体の部位の 3D ローカリゼーションを生成できます。
この作業により、高度なハードウェア要件と飛行時間テクノロジのコストによって以前は制限されていたシナリオで、有望な実際のアプリケーションが開かれます。

要約(オリジナル)

The process of tracking human anatomy in computer vision is referred to pose estimation, and it is used in fields ranging from gaming to surveillance. Three-dimensional pose estimation traditionally requires advanced equipment, such as multiple linked intensity cameras or high-resolution time-of-flight cameras to produce depth images. However, there are applications, e.g.~consumer electronics, where significant constraints are placed on the size, power consumption, weight and cost of the usable technology. Here, we demonstrate that computational imaging methods can achieve accurate pose estimation and overcome the apparent limitations of time-of-flight sensors designed for much simpler tasks. The sensor we use is already widely integrated in consumer-grade mobile devices, and despite its low spatial resolution, only 4$\times$4 pixels, our proposed Pixels2Pose system transforms its data into accurate depth maps and 3D pose data of multiple people up to a distance of 3 m from the sensor. We are able to generate depth maps at a resolution of 32$\times$32 and 3D localization of a body parts with an error of only $\approx$10 cm at a frame rate of 7 fps. This work opens up promising real-life applications in scenarios that were previously restricted by the advanced hardware requirements and cost of time-of-flight technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google