DEPAS: De-novo Pathology Semantic Masks using a Generative Model

要約

人工知能をデジタル病理学に統合することで、画像分析や診断の意思決定など、さまざまなタスクを自動化および改善できる可能性があります。
しかし、組織に固有の変動性は、画像のラベル付けの必要性とともに、偏ったデータセットにつながり、トレーニングされたアルゴリズムの一般化可能性を制限します。
この課題に対する新しいソリューションの 1 つは、合成組織画像です。
ただし、実際のデータセットのバイアスを軽減するには、写真のようにリアルな画像を生成するだけでなく、画像内の機能を制御する機能も必要です。
一般的なアプローチは、組織の事前知識と組織画像を反映するセマンティック マスク間の画像変換を実行する生成メソッドを使用することです。
ただし、他の画像ドメインとは異なり、組織の複雑な構造により、画像変換モデルへの入力として必要な組織学セマンティック マスクの単純な作成が妨げられますが、実際の画像から抽出されたセマンティック マスクはプロセスのスケーラビリティを低下させます。
この作業では、組織構造をキャプチャし、最先端の品質で高解像度のセマンティック マスクを生成する、DEPAS と呼ばれるスケーラブルな生成モデルを紹介します。
皮膚、前立腺、肺の 3 種類の臓器の組織の現実的なセマンティック マップを生成する DEPAS の機能を示します。
さらに、これらのマスクを生成画像変換モデルを使用して処理し、2 種類の異なる染色技術を使用して 2 種類の癌の写実的な組織像を生成できることを示します。
最後に、DEPAS を利用して、さまざまな細胞タイプの分布をキャプチャするマルチラベル セマンティック マスクを生成し、それらを使用してオンデマンドの細胞機能を備えた組織学的画像を生成します。
全体として、私たちの仕事は、スケーラブルな方法でセマンティック情報を制御しながら、合成組織画像を生成するという困難なタスクに対する最先端のソリューションを提供します。

要約(オリジナル)

The integration of artificial intelligence into digital pathology has the potential to automate and improve various tasks, such as image analysis and diagnostic decision-making. Yet, the inherent variability of tissues, together with the need for image labeling, lead to biased datasets that limit the generalizability of algorithms trained on them. One of the emerging solutions for this challenge is synthetic histological images. However, debiasing real datasets require not only generating photorealistic images but also the ability to control the features within them. A common approach is to use generative methods that perform image translation between semantic masks that reflect prior knowledge of the tissue and a histological image. However, unlike other image domains, the complex structure of the tissue prevents a simple creation of histology semantic masks that are required as input to the image translation model, while semantic masks extracted from real images reduce the process’s scalability. In this work, we introduce a scalable generative model, coined as DEPAS, that captures tissue structure and generates high-resolution semantic masks with state-of-the-art quality. We demonstrate the ability of DEPAS to generate realistic semantic maps of tissue for three types of organs: skin, prostate, and lung. Moreover, we show that these masks can be processed using a generative image translation model to produce photorealistic histology images of two types of cancer with two different types of staining techniques. Finally, we harness DEPAS to generate multi-label semantic masks that capture different cell types distributions and use them to produce histological images with on-demand cellular features. Overall, our work provides a state-of-the-art solution for the challenging task of generating synthetic histological images while controlling their semantic information in a scalable way.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google