TEMSET-24K: Densely Annotated Dataset for Indexing Multipart Endoscopic Videos using Surgical Timeline Segmentation

要約

内視鏡外科ビデオのインデックス作成は、外科的データサイエンスでは不可欠であり、系統的レトロスペクティブ分析と臨床パフォーマンス評価の基礎を形成します。
その重要性にもかかわらず、現在のビデオ分析は、時間のかかるプロセスである手動の索引付けに依存しています。
コンピュータービジョンの進歩、特に深い学習は自動化の可能性を提供しますが、進歩は公開されている密集した注釈付きの外科データセットの欠如によって制限されます。
これに対処するために、24,306個のアナール内視鏡顕微手術（TEMS）ビデオマイクロクリップを含むオープンソースデータセットであるTemset-24Kを提示します。
各クリップには、新規の階層ラベル分類分類段階、タスク、およびアクショントリプレットを使用して、複雑な外科的ワークフローを獲得する臨床専門家によって細心の注意を払って注釈が付けられます。
このデータセットを検証するために、トランスベースのアーキテクチャを含む深い学習モデルにベンチマークしました。
私たちのインシリコ評価は、セットアップや縫合などの主要フェーズで高精度（最大0.99）およびF1スコア（最大0.99）を示しています。
Convnext、Vit、およびSwin V2エンコーダーでテストされたStalnetモデルは、一貫してセグメント化された適切なフェーズをセグメント化しました。
Temset-24Kは、外科的データサイエンスにおける最先端のソリューションを推進する重要なベンチマークを提供します。

要約(オリジナル)

Indexing endoscopic surgical videos is vital in surgical data science, forming the basis for systematic retrospective analysis and clinical performance evaluation. Despite its significance, current video analytics rely on manual indexing, a time-consuming process. Advances in computer vision, particularly deep learning, offer automation potential, yet progress is limited by the lack of publicly available, densely annotated surgical datasets. To address this, we present TEMSET-24K, an open-source dataset comprising 24,306 trans-anal endoscopic microsurgery (TEMS) video micro-clips. Each clip is meticulously annotated by clinical experts using a novel hierarchical labeling taxonomy encompassing phase, task, and action triplets, capturing intricate surgical workflows. To validate this dataset, we benchmarked deep learning models, including transformer-based architectures. Our in silico evaluation demonstrates high accuracy (up to 0.99) and F1 scores (up to 0.99) for key phases like Setup and Suturing. The STALNet model, tested with ConvNeXt, ViT, and SWIN V2 encoders, consistently segmented well-represented phases. TEMSET-24K provides a critical benchmark, propelling state-of-the-art solutions in surgical data science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google