PIPsUS: Self-Supervised Point Tracking in Ultrasound

要約

ポイントレベルの対応関係を見つけることは、超音波（US）における基本的な問題です。これにより、頭頸部を含むさまざまな手術における術中画像誘導のための US ランドマーク追跡が可能になるからです。
オプティカル フローや特徴マッチングに基づくものなど、既存の US トラッキング方法のほとんどは、US に適用される前に、当初 RGB 画像用に設計されました。
したがって、ドメインの移行はパフォーマンスに影響を与える可能性があります。
トレーニングはグラウンドトゥルース通信によって監督される可能性がありますが、米国でこれらを取得するには高価です。
これらの問題を解決するために、PIPsUS と呼ばれる自己教師ありピクセルレベル追跡モデルを提案します。
私たちのモデルは、1 回の順方向パスで任意の数のポイントを追跡でき、連続したフレームだけでなく複数のフレームを考慮することで時間情報を活用します。
私たちは、RGB 画像用にトレーニングされた長期ポイント追跡モデルを教師として利用し、モデルが現実的な動きを学習し、データ拡張を使用して US の外観から追跡を強制するようにガイドする、新しい自己教師ありトレーニング戦略を開発しました。
首および口腔 US および心エコー検査でこの方法を評価し、高速正規化相互相関および調整されたオプティカル フローと比較して、より高い点追跡精度を示しました。
論文が受理されるとコードが利用可能になります。

要約(オリジナル)

Finding point-level correspondences is a fundamental problem in ultrasound (US), since it can enable US landmark tracking for intraoperative image guidance in different surgeries, including head and neck. Most existing US tracking methods, e.g., those based on optical flow or feature matching, were initially designed for RGB images before being applied to US. Therefore domain shift can impact their performance. Training could be supervised by ground-truth correspondences, but these are expensive to acquire in US. To solve these problems, we propose a self-supervised pixel-level tracking model called PIPsUS. Our model can track an arbitrary number of points in one forward pass and exploits temporal information by considering multiple, instead of just consecutive, frames. We developed a new self-supervised training strategy that utilizes a long-term point-tracking model trained for RGB images as a teacher to guide the model to learn realistic motions and use data augmentation to enforce tracking from US appearance. We evaluate our method on neck and oral US and echocardiography, showing higher point tracking accuracy when compared with fast normalized cross-correlation and tuned optical flow. Code will be available once the paper is accepted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google