Dynamic Object Catching with Quadruped Robot Front Legs

要約

この論文では、四足ロボットが後脚で立っている間に前脚を使用して動的に物体を捕捉するためのフレームワークを紹介します。
このシステムは、コンピューター ビジョン、軌道予測、脚制御を統合し、四足動物がオンボード カメラを使用して投げられた物体を視覚的に検出、追跡し、うまくキャッチできるようにします。
物体検出用に微調整された YOLOv8 モデルと回帰ベースの軌道予測モジュールを活用して、四足動物は前脚の位置を繰り返し適応させて物体を予測して迎撃します。
捕球動作には、最適な捕球位置を特定し、デカルト PD 制御で前脚を制御し、適切なタイミングで両脚を閉じることが含まれます。
最適なキャッチ位置を選択するための 3 つの異なる方法を提案し、検証します。1) 予測軌道を垂直面と交差させる、2) 公称位置にあるロボットの脚の中心までの距離が最小となる予測軌道上の点を選択する、
３）ロボットの到達可能な空間をモデル化するガウス混合モデル（ＧＭＭ）上で最も尤度の高い予測軌道上の点を選択する。
実験結果では、さまざまなシナリオにわたって強力な捕獲能力が実証されており、GMM メソッドが最高のパフォーマンスを達成し、80% の捕獲成功率につながりました。
システムの動作を示すビデオ デモンストレーションは、https://youtu.be/sm7RdxRfIYg でご覧いただけます。

要約(オリジナル)

This paper presents a framework for dynamic object catching using a quadruped robot’s front legs while it stands on its rear legs. The system integrates computer vision, trajectory prediction, and leg control to enable the quadruped to visually detect, track, and successfully catch a thrown object using an onboard camera. Leveraging a fine-tuned YOLOv8 model for object detection and a regression-based trajectory prediction module, the quadruped adapts its front leg positions iteratively to anticipate and intercept the object. The catching maneuver involves identifying the optimal catching position, controlling the front legs with Cartesian PD control, and closing the legs together at the right moment. We propose and validate three different methods for selecting the optimal catching position: 1) intersecting the predicted trajectory with a vertical plane, 2) selecting the point on the predicted trajectory with the minimal distance to the center of the robot’s legs in their nominal position, and 3) selecting the point on the predicted trajectory with the highest likelihood on a Gaussian Mixture Model (GMM) modelling the robot’s reachable space. Experimental results demonstrate robust catching capabilities across various scenarios, with the GMM method achieving the best performance, leading to an 80% catching success rate. A video demonstration of the system in action can be found at https://youtu.be/sm7RdxRfIYg .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google