Live Laparoscopic Video Retrieval with Compressed Uncertainty

要約

大量の医療データを検索して関連情報を取得することは、臨床ケアにとって困難ではありますが重要な作業です。
ただし、キーワード形式のテキストを含む原始的で最も一般的な検索アプローチは、複雑なメディア形式を扱う場合には大幅に制限されます。
コンテンツベースの検索では、リッチ メディアをクエリ自体として使用することで、この制限を克服する方法が提供されます。
特に、外科用ビデオ間の検索は、臨床的価値が高い、ほとんど未調査の新しい研究課題であり、特にリアルタイムの場合、リアルタイム ビデオ ハッシュを使用すると、検索を手術室内で直接行うことができます。
実際、ハッシュのプロセスは、大きなデータ エントリをコンパクトなバイナリ配列またはハッシュに変換し、大規模な検索操作を非常に高速に実行できるようにします。
ただし、ビデオの途中で変動するため、特定のハッシュのすべてのビットが同等に信頼できるわけではありません。
この研究では、軽い計算量を維持しながら、この不確実性を軽減できる方法を提案します。
私たちは、胆嚢摘出術フェーズ、バイパスフェーズを使用し、ここで紹介するまったく新しいデータセット、6 つの異なる手術タイプにわたる重要なイベントから得た、手術のマルチタスク評価プロトコルで優れた検索結果 (上位 10 の平均精度 3 ～ 4 %) を提示します。
。
このマルチタスクベンチマークでの成功は、手術ビデオ検索に対する当社のアプローチの一般化可能性を示しています。

要約(オリジナル)

Searching through large volumes of medical data to retrieve relevant information is a challenging yet crucial task for clinical care. However the primitive and most common approach to retrieval, involving text in the form of keywords, is severely limited when dealing with complex media formats. Content-based retrieval offers a way to overcome this limitation, by using rich media as the query itself. Surgical video-to-video retrieval in particular is a new and largely unexplored research problem with high clinical value, especially in the real-time case: using real-time video hashing, search can be achieved directly inside of the operating room. Indeed, the process of hashing converts large data entries into compact binary arrays or hashes, enabling large-scale search operations at a very fast rate. However, due to fluctuations over the course of a video, not all bits in a given hash are equally reliable. In this work, we propose a method capable of mitigating this uncertainty while maintaining a light computational footprint. We present superior retrieval results (3-4 % top 10 mean average precision) on a multi-task evaluation protocol for surgery, using cholecystectomy phases, bypass phases, and coming from an entirely new dataset introduced here, critical events across six different surgery types. Success on this multi-task benchmark shows the generalizability of our approach for surgical video retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google