Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets

要約

ベンチマーク データセットの作成には、データと注釈の生成に加えて、賢明なデータ分割戦略と評価指標を考案することが不可欠です。
このプラクティスにより、データの使用法、均質な評価、およびデータセットの研究方法の均一な比較に関するコンセンサスが保証されます。
この研究は、CholecT50 に焦点を当てています。CholecT50 は、手術活動を のトリプレットとして形式化する 50 のビデオ手術データセットです。
このホワイト ペーパーでは、CholecT50 および CholecT45 データセットの標準分割を紹介し、それらがデータセットの既存の使用とどのように比較されるかを示します。
CholecT45 は、CholecT50 データセットの 45 本のビデオの最初の公開リリースです。
また、手術トリプレットのモデル評価のためのメトリクス ライブラリ ivtmetrics も開発しています。
さらに、最も主に使用されているディープ ラーニング フレームワーク (PyTorch および TensorFlow) でベースライン メソッドを再現することにより、ベンチマーク スタディを実施し、提案されたデータ分割とメトリックを使用してそれらを評価し、将来の研究をサポートするために公開します。
提案されたデータ分割と評価指標により、データセットに関する研究の進行状況をグローバルに追跡できるようになり、さらに展開するための最適なモデルの選択が容易になります。

要約(オリジナル)

In addition to generating data and annotations, devising sensible data splitting strategies and evaluation metrics is essential for the creation of a benchmark dataset. This practice ensures consensus on the usage of the data, homogeneous assessment, and uniform comparison of research methods on the dataset. This study focuses on CholecT50, which is a 50 video surgical dataset that formalizes surgical activities as triplets of . In this paper, we introduce the standard splits for the CholecT50 and CholecT45 datasets and show how they compare with existing use of the dataset. CholecT45 is the first public release of 45 videos of CholecT50 dataset. We also develop a metrics library, ivtmetrics, for model evaluation on surgical triplets. Furthermore, we conduct a benchmark study by reproducing baseline methods in the most predominantly used deep learning frameworks (PyTorch and TensorFlow) to evaluate them using the proposed data splits and metrics and release them publicly to support future research. The proposed data splits and evaluation metrics will enable global tracking of research progress on the dataset and facilitate optimal model selection for further deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google