Deblurring Masked Autoencoder is Better Recipe for Ultrasound Image Recognition

要約

マスク オートエンコーダ (MAE) は前例のない注目を集めており、多くの視覚タスクで顕著なパフォーマンスを達成しています。
事前トレーニング中にランダムなマスクされた画像パッチ (プロキシ タスクと呼ばれる) を再構築し、下流のタスクに転送できる意味のある意味表現を学習します。
ただし、MAE は超音波画像法では十分に研究されていません。
この研究では、超音波画像認識における MAE の可能性を調査します。
高いノイズ対信号比における超音波イメージングのユニークな特性を動機として、事前トレーニング中のプロキシ タスクにブレ除去を組み込む新しいブレ除去 MAE アプローチを提案します。
ぼけ除去を追加すると、超音波画像に表示される微妙な詳細をより適切に回復するための事前トレーニングが容易になり、下流の分類タスクのパフォーマンスが向上します。
当社の実験結果は、当社のブレ除去 MAE の有効性を実証し、超音波画像分類において最先端のパフォーマンスを達成しています。
全体として、私たちの研究は超音波画像認識における MAE の可能性を強調し、その有効性をさらに向上させるためにブレ除去を組み込んだ新しいアプローチを提示しています。

要約(オリジナル)

Masked autoencoder (MAE) has attracted unprecedented attention and achieves remarkable performance in many vision tasks. It reconstructs random masked image patches (known as proxy task) during pretraining and learns meaningful semantic representations that can be transferred to downstream tasks. However, MAE has not been thoroughly explored in ultrasound imaging. In this work, we investigate the potential of MAE for ultrasound image recognition. Motivated by the unique property of ultrasound imaging in high noise-to-signal ratio, we propose a novel deblurring MAE approach that incorporates deblurring into the proxy task during pretraining. The addition of deblurring facilitates the pretraining to better recover the subtle details presented in the ultrasound images, thus improving the performance of the downstream classification task. Our experimental results demonstrate the effectiveness of our deblurring MAE, achieving state-of-the-art performance in ultrasound image classification. Overall, our work highlights the potential of MAE for ultrasound image recognition and presents a novel approach that incorporates deblurring to further improve its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google