Multitask Learning in Minimally Invasive Surgical Vision: A Review

要約

低侵襲手術 (MIS) は多くの手術に革命をもたらし、回復時間の短縮と患者の怪我のリスクの軽減につながりました。
ただし、MIS は外科チームにさらなる複雑さと負担をもたらします。
データ駆動型の外科用視覚アルゴリズムは、自律性が向上した将来の MIS システムの開発における重要な構成要素であると考えられています。
機械学習とコンピューター ビジョンの最近の進歩により、MIS から取得したビデオの分析への応用が成功し、MIS ビデオの課題が軽減されることが期待されています。
手術シーンと手術の理解には複数の関連タスクが含まれており、個別に解決するとメモリを大量に消費し、非効率になり、タスクの関係性を把握できなくなる可能性があります。
マルチタスク学習 (MTL) は、複数の関連タスクからの情報を活用してパフォーマンスを向上させ、一般化を支援する学習パラダイムであり、MIS データをきめ細かく高レベルで理解するのに適しています。
このレビューでは、MIS から取得したビデオを活用する現在の最先端の MTL システムの概要を説明します。
公開されているアプローチをリストするだけでなく、これらの MTL システムの利点と制限についても説明します。
さらに、この原稿は、大規模なモデルを含む、MIS における MTL のさまざまな応用分野に関する文献の分析を示し、注目すべき傾向、研究の新しい方向性、開発を強調しています。

要約(オリジナル)

Minimally invasive surgery (MIS) has revolutionized many procedures and led to reduced recovery time and risk of patient injury. However, MIS poses additional complexity and burden on surgical teams. Data-driven surgical vision algorithms are thought to be key building blocks in the development of future MIS systems with improved autonomy. Recent advancements in machine learning and computer vision have led to successful applications in analyzing videos obtained from MIS with the promise of alleviating challenges in MIS videos. Surgical scene and action understanding encompasses multiple related tasks that, when solved individually, can be memory-intensive, inefficient, and fail to capture task relationships. Multitask learning (MTL), a learning paradigm that leverages information from multiple related tasks to improve performance and aid generalization, is wellsuited for fine-grained and high-level understanding of MIS data. This review provides an overview of the current state-of-the-art MTL systems that leverage videos obtained from MIS. Beyond listing published approaches, we discuss the benefits and limitations of these MTL systems. Moreover, this manuscript presents an analysis of the literature for various application fields of MTL in MIS, including those with large models, highlighting notable trends, new directions of research, and developments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google