Memorized action chunking with Transformers: Imitation learning for vision-based tissue surface scanning

要約

光学センシング技術は、がん組織を確実に完全に除去するためにがんの手術で使用される新興技術です。
点ごとの評価には多くの潜在的な用途がありますが、自動化された大面積スキャンを組み込むことで、全体的な組織サンプリングが可能になります。
ただし、このようなスキャン タスクは、長期的な依存性ときめ細かい動作の要件により困難を伴います。
これらの問題に対処するために、組織表面スキャン タスクのための直観的かつ効率的な模倣学習方法である Memorized Action Chunking with Transformers (MACT) を導入します。
過去の一連の画像を履歴情報として利用し、近未来の行動シーケンスを予測します。
さらに、学習を容易にするために、ハイブリッドの時間空間位置埋め込みが採用されました。
さまざまなシミュレーション設定において、MACT はベースライン モデルに比べて輪郭スキャンとエリア スキャンが大幅に向上していることを実証しました。
実際のテストでは、わずか 50 のデモンストレーション軌跡で、MACT はすべてのスキャン タスクで 60 ～ 80% の成功率を達成し、ベースライン モデルを上回りました。
私たちの調査結果は、MACT が外科現場における適応型スキャンの有望なモデルであることを示唆しています。

要約(オリジナル)

Optical sensing technologies are emerging technologies used in cancer surgeries to ensure the complete removal of cancerous tissue. While point-wise assessment has many potential applications, incorporating automated large area scanning would enable holistic tissue sampling. However, such scanning tasks are challenging due to their long-horizon dependency and the requirement for fine-grained motion. To address these issues, we introduce Memorized Action Chunking with Transformers (MACT), an intuitive yet efficient imitation learning method for tissue surface scanning tasks. It utilizes a sequence of past images as historical information to predict near-future action sequences. In addition, hybrid temporal-spatial positional embeddings were employed to facilitate learning. In various simulation settings, MACT demonstrated significant improvements in contour scanning and area scanning over the baseline model. In real-world testing, with only 50 demonstration trajectories, MACT surpassed the baseline model by achieving a 60-80% success rate on all scanning tasks. Our findings suggest that MACT is a promising model for adaptive scanning in surgical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google