Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures

要約

外科用コンピュータ ビジョンの最近の進歩は、言語セマンティクスを欠いた視覚のみのモデルによって推進されており、固定オブジェクト カテゴリを予測するために手動で注釈が付けられたビデオに依存しています。
これにより、目に見えない外科手術やタスクへの一般化が制限されます。
私たちは、e ラーニング プラットフォームの外科ビデオ講義を活用して、手動による注釈をバイパスして、マルチモーダル表現学習のための効果的な視覚と言語の監視信号を提供することを提案します。
私たちは、テキストの書き起こしに複数の自動音声認識システムを使用して、手術特有の言語的課題に取り組んでいます。
マルチモーダル表現学習のための新しい方法である SurgVLP (Surgical Vision Language Pre-training) を紹介します。
SurgVLP は、新しい対比学習目標を採用し、ビデオ クリップの埋め込みを、共同潜在空間内の対応する複数のテキストの埋め込みと位置合わせします。
私たちは、いくつかの視覚と言語を伴う手術タスクと手術に特有の視覚のみのタスクを通じて、この空間の表現能力を実証します。
現在の完全に監視されたアプローチとは異なり、SurgVLP は、特定の微調整なしでさまざまな手術手順やタスクに適応し、手動の注釈なしで手術ツール、フェーズ、トリプレット認識などのタスクへのゼロショット適応を実現します。
これらの結果は、手術ビデオ分析における学習されたマルチモーダル表現の移転可能性と多用途性を強調しています。
コードは https://github.com/CAMMA-public/SurgVLP で入手できます。

要約(オリジナル)

Recent advancements in surgical computer vision have been driven by vision-only models, which lack language semantics, relying on manually annotated videos to predict fixed object categories. This limits their generalizability to unseen surgical procedures and tasks. We propose leveraging surgical video lectures from e-learning platforms to provide effective vision and language supervisory signals for multi-modal representation learning, bypassing manual annotations. We address surgery-specific linguistic challenges using multiple automatic speech recognition systems for text transcriptions. We introduce SurgVLP – Surgical Vision Language Pre-training – a novel method for multi-modal representation learning. SurgVLP employs a new contrastive learning objective, aligning video clip embeddings with corresponding multiple text embeddings in a joint latent space. We demonstrate the representational capability of this space through several vision-and-language surgical tasks and vision-only tasks specific to surgery. Unlike current fully supervised approaches, SurgVLP adapts to different surgical procedures and tasks without specific fine-tuning, achieving zero-shot adaptation to tasks such as surgical tool, phase, and triplet recognition without manual annotation. These results highlight the transferability and versatility of the learned multi-modal representations in surgical video analysis. The code is available at https://github.com/CAMMA-public/SurgVLP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google