Streamlined Photoacoustic Image Processing with Foundation Models: A Training-Free Solution

要約

基盤モデルは急速に進化し、コンピューター ビジョン タスクにおいて重要な成果を達成しました。
具体的には、プロンプトメカニズムにより、ユーザーは画像の事前情報をモデルに統合できるため、トレーニングなしでモデルを適用できるようになります。
したがって、光音響（PA）画像セグメンテーションのタスクを解決するための基礎モデルとゼロトレーニングに基づく方法を提案します。
私たちは、簡単なプロンプトを設定し、モデルの出力を画像化されたオブジェクトの事前知識と統合することにより、セグメント エニシング モデル (SAM) を採用して、次のようなさまざまなタスクを実行しました。(1) 3 次元 PA 画像レンダリングにおける皮膚信号の除去。
(2) 二重音速再構成、および (3) 指の血管のセグメンテーション。
これらのデモンストレーションを通じて、ネットワーク設計やトレーニングを必要とせずに、深層学習を PA イメージングに直接適用できるという結論に達しました。
これにより、PA 画像の効率的かつ正確なセグメンテーションを達成するための実践的で便利なアプローチが可能になる可能性があります。
このレターは包括的なチュートリアルとして機能し、コードとサンプル データセットの提供を通じて技術の習得を促進します。

要約(オリジナル)

Foundation models have rapidly evolved and have achieved significant accomplishments in computer vision tasks. Specifically, the prompt mechanism conveniently allows users to integrate image prior information into the model, making it possible to apply models without any training. Therefore, we propose a method based on foundation models and zero training to solve the tasks of photoacoustic (PA) image segmentation. We employed the segment anything model (SAM) by setting simple prompts and integrating the model’s outputs with prior knowledge of the imaged objects to accomplish various tasks, including: (1) removing the skin signal in three-dimensional PA image rendering; (2) dual speed-of-sound reconstruction, and (3) segmentation of finger blood vessels. Through these demonstrations, we have concluded that deep learning can be directly applied in PA imaging without the requirement for network design and training. This potentially allows for a hands-on, convenient approach to achieving efficient and accurate segmentation of PA images. This letter serves as a comprehensive tutorial, facilitating the mastery of the technique through the provision of code and sample datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google