Multi-objective Cross-task Learning via Goal-conditioned GPT-based Decision Transformers for Surgical Robot Task Automation

要約

手術ロボットのタスク自動化は、手術の効率と質を向上させるための有望な研究テーマです。
学習ベースの方法は興味深いパラダイムとして認識されており、ますます研究されています。
しかし、既存のアプローチは、複雑な構成構造のため、長期的な目標条件付きタスクでは困難に直面しており、一連のサブステップの意思決定と、目標達成タスクに固有のダイナミクスの理解が必要です。
この論文では、GPT ベースのアーキテクチャの強力な推論機能を活用して、ロボット手術タスクを自動化する新しい学習ベースのフレームワークを提案します。
私たちのアプローチの鍵は、時間的推論を強化するために、目標を意識した将来指標を使用して逐次表現を実現する、目標条件付き意思決定変換器を開発することです。
さらに、操作に固有のダイナミクスの一般的な理解を活用して、モデルの推論能力をタスクに依存しないものにすることを考慮して、さまざまなタスクからのデータに関連付けられた複数のトレーニング目標を使用するクロスタスク事前トレーニングパラダイムも設計します。
私たちは手術ロボット学習シミュレータ SurRoL~\cite{long2023human} を使用して 10 のタスクについて広範な実験を実施しました。
結果は、私たちの新しいアプローチが既存の方法と比較して有望なパフォーマンスとタスクの多様性を実現していることを示しています。
学習した軌道は、実際の手術ロボット設定での実用性を検証するために、ダ ヴィンチ リサーチ キット (dVRK) に展開できます。
私たちのプロジェクトの Web サイトは https://med-air.github.io/SurRoL です。

要約(オリジナル)

Surgical robot task automation has been a promising research topic for improving surgical efficiency and quality. Learning-based methods have been recognized as an interesting paradigm and been increasingly investigated. However, existing approaches encounter difficulties in long-horizon goal-conditioned tasks due to the intricate compositional structure, which requires decision-making for a sequence of sub-steps and understanding of inherent dynamics of goal-reaching tasks. In this paper, we propose a new learning-based framework by leveraging the strong reasoning capability of the GPT-based architecture to automate surgical robotic tasks. The key to our approach is developing a goal-conditioned decision transformer to achieve sequential representations with goal-aware future indicators in order to enhance temporal reasoning. Moreover, considering to exploit a general understanding of dynamics inherent in manipulations, thus making the model’s reasoning ability to be task-agnostic, we also design a cross-task pretraining paradigm that uses multiple training objectives associated with data from diverse tasks. We have conducted extensive experiments on 10 tasks using the surgical robot learning simulator SurRoL~\cite{long2023human}. The results show that our new approach achieves promising performance and task versatility compared to existing methods. The learned trajectories can be deployed on the da Vinci Research Kit (dVRK) for validating its practicality in real surgical robot settings. Our project website is at: https://med-air.github.io/SurRoL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google