Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation

要約

コンピュータ支援介入には、リアルタイムの計算速度と高度な精度が必要です。
セグメンテーション ネットワークを医療ビデオ処理タスクに適用すると、重大なフレーム間予測ノイズが発生する可能性があります。
既存のアプローチでは、時間情報を含めることで不一致を減らすことができますが、多くの場合、アーキテクチャまたはデータセットに要件を課します。
この論文では、任意のセグメンテーション モデルに時間情報を含める方法、つまりトレーニングや追加のラベル付け中に変更を加えずにビデオ セグメンテーションのパフォーマンスを向上させる手法を提案します。
動き補正移動平均を使用すると、現在の予測と以前の予測の間の指数移動平均を洗練します。
オプティカル フローを使用して連続フレーム間の動きを推定すると、移動平均計算の前の項をシフトして、現在のフレームのジオメトリに合わせることができます。
オプティカル フローの計算はモデルの出力を必要としないため、並行して実行できるため、このアプローチでは実行時間に重大な影響を与えることはありません。
私たちは、2 つの公的に利用可能なセグメンテーション データセットと 2 つの独自の内視鏡データセットに基づいてアプローチを評価し、ベースライン アプローチと比較した改善を示しています。

要約(オリジナル)

Real-time computational speed and a high degree of precision are requirements for computer-assisted interventions. Applying a segmentation network to a medical video processing task can introduce significant inter-frame prediction noise. Existing approaches can reduce inconsistencies by including temporal information but often impose requirements on the architecture or dataset. This paper proposes a method to include temporal information in any segmentation model and, thus, a technique to improve video segmentation performance without alterations during training or additional labeling. With Motion-Corrected Moving Average, we refine the exponential moving average between the current and previous predictions. Using optical flow to estimate the movement between consecutive frames, we can shift the prior term in the moving-average calculation to align with the geometry of the current frame. The optical flow calculation does not require the output of the model and can therefore be performed in parallel, leading to no significant runtime penalty for our approach. We evaluate our approach on two publicly available segmentation datasets and two proprietary endoscopic datasets and show improvements over a baseline approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google