BiomedParse: a biomedical foundation model for image parsing of everything everywhere all at once

要約

生物医学画像解析は、細胞生物学、病理学、放射線学、その他多くの生物医学分野における生物医学発見の基礎です。
全体的な画像分析は、関連するオブジェクトのセグメンテーション、検出、認識などの相互依存するサブタスクで構成されます。
ここでは、9 つ​​の画像モダリティにわたる 82 のオブジェクト タイプのセグメンテーション、検出、認識を共同で実行できる画像解析用の生物医学基盤モデルである BiomedParse を提案します。
共同学習により、個々のタスクの精度が向上し、ユーザーが各オブジェクトの境界ボックスを苦労して指定する必要がなく、テキスト プロンプトを通じて画像内のすべての関連オブジェクトをセグメント化するなどの新しいアプリケーションが可能になります。
これらのデータセットに付随する、すぐに利用できる自然言語ラベルまたは説明を活用し、GPT-4 を使用して、ノイズの多い非構造化テキスト情報を確立された生物医学的オブジェクトのオントロジーと調和させました。
私たちは、600 万を超える画像、セグメンテーション マスク、およびテキストの説明を含む大規模なデータセットを作成しました。
画像セグメンテーションに関しては、BiomedParse が幅広く適用可能であり、9 つの画像モダリティ (すべて) にわたる 102,855 個のテスト画像 – マスク – ラベルのトリプルに対して最先端の手法を上回っていることを示しました。
対象となる特定の物体の位置を特定することを目的とした物体検出において、BiomedParse は、特に不規則な形状を持つ物体 (あらゆる場所) において、再び最先端のパフォーマンスを達成しました。
与えられた画像内のすべての物体をその意味論的なタイプとともに識別することを目的とした物体認識については、BiomedParse が画像内のすべての生物医学的物体を同時に (一度に) セグメント化してラベル付けできることを示しました。
要約すると、BiomedParse は、すべての主要な生物医学画像モダリティのセグメンテーション、検出、認識を共同で解決することにより、効率的かつ正確な画像ベースの生物医学発見への道を開く、生物医学画像分析のためのオールインワン ツールです。

要約(オリジナル)

Biomedical image analysis is fundamental for biomedical discovery in cell biology, pathology, radiology, and many other biomedical domains. Holistic image analysis comprises interdependent subtasks such as segmentation, detection, and recognition of relevant objects. Here, we propose BiomedParse, a biomedical foundation model for imaging parsing that can jointly conduct segmentation, detection, and recognition for 82 object types across 9 imaging modalities. Through joint learning, we can improve accuracy for individual tasks and enable novel applications such as segmenting all relevant objects in an image through a text prompt, rather than requiring users to laboriously specify the bounding box for each object. We leveraged readily available natural-language labels or descriptions accompanying those datasets and use GPT-4 to harmonize the noisy, unstructured text information with established biomedical object ontologies. We created a large dataset comprising over six million triples of image, segmentation mask, and textual description. On image segmentation, we showed that BiomedParse is broadly applicable, outperforming state-of-the-art methods on 102,855 test image-mask-label triples across 9 imaging modalities (everything). On object detection, which aims to locate a specific object of interest, BiomedParse again attained state-of-the-art performance, especially on objects with irregular shapes (everywhere). On object recognition, which aims to identify all objects in a given image along with their semantic types, we showed that BiomedParse can simultaneously segment and label all biomedical objects in an image (all at once). In summary, BiomedParse is an all-in-one tool for biomedical image analysis by jointly solving segmentation, detection, and recognition for all major biomedical image modalities, paving the path for efficient and accurate image-based biomedical discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google