Online estimation of the hand-eye transformation from surgical scenes

要約

ハンドアイキャリブレーションアルゴリズムは成熟しており、効果的なカメラとロボットのリンクのための正確な変換推定を提供しますが、エラーや構成の縮退を回避するために十分に広範囲のキャリブレーションデータに依存しています。
ロボット支援による低侵襲手術における手と目の問題を解決し、新しい目的関数と連携したニューラルネットワーク法を使用して校正手順を簡素化します。
一連の画像と運動学データから変換を推定し、キャリブレーション手順を大幅に簡素化するニューラル ネットワーク ベースのソリューションを紹介します。
このネットワークは長期短期メモリ アーキテクチャを利用してデータから時間情報を抽出し、手と目の問題を解決します。
目的関数は、動きの遠隔中心の制約、再投影誤差、および手と目の変換に小さな変化を引き起こすその導関数の線形結合から導出されます。
この方法は、da Vinci Si からのデータを使用して検証され、その結果は、推定されたハンドアイ マトリックスが両方のテストで 10 ～ 20 ピクセルの精度内でエンドエフェクターをロボット座標からカメラ座標に再投影できることを示しています。
データセット。
キャリブレーションのパフォーマンスも、以前のニューラル ネットワーク ベースのハンドアイ方式よりも優れています。
提案されたアルゴリズムは、深層学習技術を使用することでキャリブレーション手順を簡素化でき、非静的なハンドアイ変換を仮定することでパフォーマンスが向上することを示しています。

要約(オリジナル)

Hand-eye calibration algorithms are mature and provide accurate transformation estimations for an effective camera-robot link but rely on a sufficiently wide range of calibration data to avoid errors and degenerate configurations. To solve the hand-eye problem in robotic-assisted minimally invasive surgery and also simplify the calibration procedure by using neural network method cooporating with the new objective function. We present a neural network-based solution that estimates the transformation from a sequence of images and kinematic data which significantly simplifies the calibration procedure. The network utilises the long short-term memory architecture to extract temporal information from the data and solve the hand-eye problem. The objective function is derived from the linear combination of remote centre of motion constraint, the re-projection error and its derivative to induce a small change in the hand-eye transformation. The method is validated with the data from da Vinci Si and the result shows that the estimated hand-eye matrix is able to re-project the end-effector from the robot coordinate to the camera coordinate within 10 to 20 pixels of accuracy in both testing dataset. The calibration performance is also superior to the previous neural network-based hand-eye method. The proposed algorithm shows that the calibration procedure can be simplified by using deep learning techniques and the performance is improved by the assumption of non-static hand-eye transformations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google