Graph Convolutional Neural Networks for Automated Echocardiography View Recognition: A Holistic Approach

要約

心臓超音波(US)の診断を容易にするために、臨床では心臓のいくつかの標準ビューが確立されており、これらは診断測定の基準点となり、画像を取得するビューポートを定義している。ビューの自動認識には、これらの画像を標準ビューのクラスにグループ化することが含まれる。ディープラーニング技術はこれを達成することに成功しているが、正しい位置、ポーズ、心臓構造の潜在的な閉塞などの要因により、特定の測定に対する画像の適合性を完全に検証することにまだ苦戦している。我々のアプローチは、ビューの分類にとどまらず、心臓の3Dメッシュ再構成を組み込むことで、セグメンテーションやポーズ推定のような、より下流のタスクを可能にする。この研究では、グラフ畳み込みによる3D心臓メッシュの学習を探求し、人間の姿勢推定などの自然画像における3Dメッシュの学習と同様の技術を用いる。完全にアノテーションされた3D画像の利用可能性は限られているため、敵対的ノイズ除去拡散モデルを学習することにより、3Dメッシュから合成US画像を生成する。合成画像と臨床画像を用いて、ビュー認識と構造検出の実験を行った。このアプローチは合成画像において良好な性能を示し、合成データのみで学習されたにもかかわらず、臨床画像に適用した場合にも既に可能性を示した。この概念実証により、心臓のビュー認識を向上させるグラフの利点を実証し、最終的に心臓診断の効率化につながることを目指す。

要約(オリジナル)

To facilitate diagnosis on cardiac ultrasound (US), clinical practice has established several standard views of the heart, which serve as reference points for diagnostic measurements and define viewports from which images are acquired. Automatic view recognition involves grouping those images into classes of standard views. Although deep learning techniques have been successful in achieving this, they still struggle with fully verifying the suitability of an image for specific measurements due to factors like the correct location, pose, and potential occlusions of cardiac structures. Our approach goes beyond view classification and incorporates a 3D mesh reconstruction of the heart that enables several more downstream tasks, like segmentation and pose estimation. In this work, we explore learning 3D heart meshes via graph convolutions, using similar techniques to learn 3D meshes in natural images, such as human pose estimation. As the availability of fully annotated 3D images is limited, we generate synthetic US images from 3D meshes by training an adversarial denoising diffusion model. Experiments were conducted on synthetic and clinical cases for view recognition and structure detection. The approach yielded good performance on synthetic images and, despite being exclusively trained on synthetic data, it already showed potential when applied to clinical images. With this proof-of-concept, we aim to demonstrate the benefits of graphs to improve cardiac view recognition that can ultimately lead to better efficiency in cardiac diagnosis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL