Intuitive Human-Robot Interface: A 3-Dimensional Action Recognition and UAV Collaboration Framework

要約

人間の動きを利用して無人航空機 (UAV) を制御することは、その配備に革命をもたらし、より直感的でユーザー中心のものになる可能性を秘めています。
この研究では、人間の 3 次元の行動を分類し、それらを活用して現場で UAV と調整することに優れた新しい方法論を導入します。
ステレオ カメラを利用して、RGB データと深度データの両方を取得し、連続ビデオ フィードから 3 次元の人間のポーズを抽出します。
次に、このデータは私たちが提案する k 最近傍分類器を通じて処理され、その結果が UAV の動作を決定します。
また、ロボットが人間を視覚範囲内に常に維持し、ユーザーの動きを適切に追跡することを保証するメカニズムも含まれています。
私たちはこのアプローチに対して、実際のロボットを使用した複数のテストを含む厳格なテストを実施しました。
その後の結果と包括的な分析は、私たちが提案した方法論の有効性と固有の利点を強調しています。

要約(オリジナル)

Harnessing human movements to command an Unmanned Aerial Vehicle (UAV) holds the potential to revolutionize their deployment, rendering it more intuitive and user-centric. In this research, we introduce a novel methodology adept at classifying three-dimensional human actions, leveraging them to coordinate on-field with a UAV. Utilizing a stereo camera, we derive both RGB and depth data, subsequently extracting three-dimensional human poses from the continuous video feed. This data is then processed through our proposed k-nearest neighbour classifier, the results of which dictate the behaviour of the UAV. It also includes mechanisms ensuring the robot perpetually maintains the human within its visual purview, adeptly tracking user movements. We subjected our approach to rigorous testing involving multiple tests with real robots. The ensuing results, coupled with comprehensive analysis, underscore the efficacy and inherent advantages of our proposed methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google