Autonomous Field-of-View Adjustment Using Adaptive Kinematic Constrained Control with Robot-Held Microscopic Camera Feedback

要約

ミリメートルスケールで操作するロボットシステムでは、多くの場合、ターゲット領域の視覚的なフィードバックのために高倍率のカメラが使用されます。
ただし、顕微鏡カメラの視野 (FoV) は限られているため、より広い作業スペース環境をキャプチャするにはカメラを動かす必要があります。
この研究では、ロボット保持カメラを指定された FoV 内に制限する自律ロボット制御手法を提案します。
さらに、カメラの外部機能を運動学モデルの一部としてモデル化し、カメラの測定と U-Net ベースのツール追跡を組み合わせて使用​​して、タスク実行中に完全なロボット モデルを適応させます。
概念実証のデモンストレーションとして、提案されたフレームワークは、事前に定義された軌道で移動するツールを観察するために顕微鏡カメラが制御される両手設定で評価されました。
提案された方法では、カメラが実際の FoV 内に 99.5% の時間留まることができましたが、提案された適応制御を使用しない場合は 48.1% でした。

要約(オリジナル)

Robotic systems for manipulation in millimeter scale often use a camera with high magnification for visual feedback of the target region. However, the limited field-of-view (FoV) of the microscopic camera necessitates camera motion to capture a broader workspace environment. In this work, we propose an autonomous robotic control method to constrain a robot-held camera within a designated FoV. Furthermore, we model the camera extrinsics as part of the kinematic model and use camera measurements coupled with a U-Net based tool tracking to adapt the complete robotic model during task execution. As a proof-of-concept demonstration, the proposed framework was evaluated in a bi-manual setup, where the microscopic camera was controlled to view a tool moving in a pre-defined trajectory. The proposed method allowed the camera to stay 99.5% of the time within the real FoV, compared to 48.1% without the proposed adaptive control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google