Self-Supervised Learning for Interactive Perception of Surgical Thread for Autonomous Suture Tail-Shortening

要約

縫合糸の正確な 3D センシングは、状態空間の複雑さの高さ、糸の細さと変形性、グリッパーと組織による閉塞の可能性のため、自動外科縫合においては困難な問題です。
この研究では、閉塞や複雑な糸構成に対して堅牢な外科用糸を 3D で追跡する方法を提案し、それを適用して、外科用縫合糸の「尾部短縮」タスク、つまり、所望の「尾部」の長さまで組織に糸を通す作業を自律的に実行します。
露出したままです。
この方法では、学習された 2D 外科糸検出ネットワークを利用して、RGB 画像内の縫合糸をセグメント化します。
次に、2D で糸のパスを識別し、2 台のステレオ カメラからの検出を三角測量することにより、NURBS スプラインとして 3D で糸を再構築します。
3D スレッド モデルが初期化されると、メソッドは後続のフレームにわたってスレッドを追跡します。
実験によると、この方法では、困難な単一フレーム 3D スレッド再構成では平均 1.33 ピクセルの再投影誤差が達成され、2 つの追跡シーケンスでは平均 0.84 ピクセルの再投影誤差が達成されます。
尾部短縮タスクでは、20 回の試行で 90% の成功率を達成しました。
補足資料は https://sites.google.com/berkeley.edu/autolab-surgical-thread/ で入手できます。

要約(オリジナル)

Accurate 3D sensing of suturing thread is a challenging problem in automated surgical suturing because of the high state-space complexity, thinness and deformability of the thread, and possibility of occlusion by the grippers and tissue. In this work we present a method for tracking surgical thread in 3D which is robust to occlusions and complex thread configurations, and apply it to autonomously perform the surgical suture ‘tail-shortening’ task: pulling thread through tissue until a desired ‘tail’ length remains exposed. The method utilizes a learned 2D surgical thread detection network to segment suturing thread in RGB images. It then identifies the thread path in 2D and reconstructs the thread in 3D as a NURBS spline by triangulating the detections from two stereo cameras. Once a 3D thread model is initialized, the method tracks the thread across subsequent frames. Experiments suggest the method achieves a 1.33 pixel average reprojection error on challenging single-frame 3D thread reconstructions, and an 0.84 pixel average reprojection error on two tracking sequences. On the tail-shortening task, it accomplishes a 90% success rate across 20 trials. Supplemental materials are available at https://sites.google.com/berkeley.edu/autolab-surgical-thread/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google