EDMAE: An Efficient Decoupled Masked Autoencoder for Standard View Identification in Pediatric Echocardiography

要約

新しい自己教師あり方法である効率的な分離マスク オートエンコーダー (EDMAE) は、この論文で小児心エコー検査における標準ビュー認識のために提案されています。
エンコーダ/デコーダ構造に基づく提案された EDMAE は、新しいプロキシ タスクを形成します。
EDMAE のデコーダーは教師エンコーダーと生徒エンコーダーで構成され、教師エンコーダーはマスクされた画像ブロックの潜在表現を抽出し、生徒エンコーダーは可視画像ブロックの潜在表現を抽出します。
2 つのエンコーダーから出力された特徴マップ間で損失が計算され、抽出された潜在表現の一貫性が確保されます。
EDMAE は、従来の MAE のエンコーダーの VIT 構造を純粋な畳み込み操作に置き換えて、トレーニング効率を向上させます。
EDMAE は、小児心エコー検査の大規模なプライベート データセットで自己教師付きの方法で事前トレーニングされ、その後、標準ビュー認識のダウンストリーム タスクで微調整されます。
小児心エコー検査の 27 の標準ビューで、高い分類精度が達成されます。
提案された方法の有効性をさらに検証するために、心臓超音波セグメンテーションの別の下流タスクが公開データセット CAMUS で実行されます。
実験は、提案された方法がいくつかの最近の監視された方法を凌駕するだけでなく、さまざまな下流タスクでより競争力があることを示しています。

要約(オリジナル)

An efficient decoupled masked autoencoder (EDMAE), which is a novel self-supervised method is proposed for standard view recognition in pediatric echocardiography in this paper. The proposed EDMAE based on the encoder-decoder structure forms a new proxy task. The decoder of EDMAE consists of a teacher encoder and a student encoder, in which the teacher encoder extracts the latent representation of the masked image blocks, while the student encoder extracts the latent representation of the visible image blocks. A loss is calculated between the feature maps output from two encoders to ensure consistency in the latent representations they extracted. EDMAE replaces the VIT structure in the encoder of traditional MAE with pure convolution operation to improve training efficiency. EDMAE is pre-trained in a self-supervised manner on a large-scale private dataset of pediatric echocardiography, and then fine-tuned on the downstream task of standard view recognition. The high classification accuracy is achieved in 27 standard views of pediatric echocardiography. To further validate the effectiveness of the proposed method, another downstream task of cardiac ultrasound segmentation is performed on a public dataset CAMUS. The experiments show that the proposed method not only can surpass some recent supervised methods but also has more competitiveness on different downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google