Incorporating Prior Knowledge into Reinforcement Learning for Soft Tissue Manipulation with Autonomous Grasping Point Selection

要約

これまでの軟組織操作の研究では、把握点がわかっており、目標の変形が達成できると想定されていました。
手術中、拘束は一定であると想定され、軟組織の周囲に障害物はありません。
これらの仮定を超えるために、筋膜によって加えられる力などの未知の制約下での軟組織操作のために、事前知識を備えた深層強化学習フレームワークが提案されています。
事前知識は直感的な操作戦略を通じて表現されます。
エージェントのアクションとして、直感的なアプローチと意図的なネットワークを調整するために調整因子が使用されます。
報酬関数は、大きな変形に対する探索と活用のバランスを取るように設計されています。
成功したシミュレーション結果は、提案されたフレームワークが障害物を回避し、新しい位置制約を追加しながら軟組織を操作できることを検証します。
ソフト アクター クリティカル (SAC) アルゴリズムと比較して、提案されたフレームワークはトレーニング手順を加速し、一般化を向上させることができます。

要約(オリジナル)

Previous soft tissue manipulation studies assumed that the grasping point was known and the target deformation can be achieved. During the operation, the constraints are supposed to be constant, and there is no obstacles around the soft tissue. To go beyond these assumptions, a deep reinforcement learning framework with prior knowledge is proposed for soft tissue manipulation under unknown constraints, such as the force applied by fascia. The prior knowledge is represented through an intuitive manipulation strategy. As an action of the agent, a regulator factor is used to coordinate the intuitive approach and the deliberate network. A reward function is designed to balance the exploration and exploitation for large deformation. Successful simulation results verify that the proposed framework can manipulate the soft tissue while avoiding obstacles and adding new position constraints. Compared with the soft actor-critic (SAC) algorithm, the proposed framework can accelerate the training procedure and improve the generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google