Deepfake histological images for enhancing digital pathology

要約

FFPE組織ブロックから調製されたスライドガラス上の薄くカットされた染色組織の光学顕微鏡検査は、組織診断のゴールドスタンダードです。
さらに、病理学者の診断能力と専門知識は、一般的な形態とまれな形態の直接的な経験に依存しています。
最近、ディープラーニングアプローチを使用して、このようなタスクの高レベルの精度を示すことに成功しています。
ただし、専門家レベルの注釈付き画像を取得することは、費用と時間のかかる作業であり、人工的に合成された組織学的画像は非常に有益であることがわかります。
ここでは、一般的な疾患の診断形態学的特徴を再現するだけでなく、新しいまれな形態を生成するユーザー機能を提供する組織学的画像を生成するためのアプローチを提示します。
私たちのアプローチには、クラスラベルによって制約された病理画像を合成する生成的敵対的ネットワークモデルの開発が含まれます。
現実的な前立腺および結腸組織画像の合成におけるこのフレームワークの能力を調査し、経験豊富な解剖病理学者のパネルによる機械学習法の診断能力およびそれらの有用性の増強におけるこれらの画像の有用性を評価しました。
私たちのフレームワークによって生成された合成データは、診断のための深層学習モデルのトレーニングで実際のデータと同様に実行されました。
病理学者は、実際の画像と合成画像を区別することができず、前立腺がんの等級付けについて同様のレベルの観察者間の合意を示しました。
結腸生検からの非常に複雑な画像にアプローチを拡張し、そのような組織の複雑な微小環境も再現できることを示しました。
最後に、ユーザーがセマティックラベルの単純なマークアップを介してディープフェイクの組織学的画像を生成する機能を紹介します。

要約(オリジナル)

An optical microscopic examination of thinly cut stained tissue on glass slides prepared from a FFPE tissue blocks is the gold standard for tissue diagnostics. In addition, the diagnostic abilities and expertise of any pathologist is dependent on their direct experience with common as well as rarer variant morphologies. Recently, deep learning approaches have been used to successfully show a high level of accuracy for such tasks. However, obtaining expert-level annotated images is an expensive and time-consuming task and artificially synthesized histological images can prove greatly beneficial. Here, we present an approach to not only generate histological images that reproduce the diagnostic morphologic features of common disease but also provide a user ability to generate new and rare morphologies. Our approach involves developing a generative adversarial network model that synthesizes pathology images constrained by class labels. We investigated the ability of this framework in synthesizing realistic prostate and colon tissue images and assessed the utility of these images in augmenting diagnostic ability of machine learning methods as well as their usability by a panel of experienced anatomic pathologists. Synthetic data generated by our framework performed similar to real data in training a deep learning model for diagnosis. Pathologists were not able to distinguish between real and synthetic images and showed a similar level of inter-observer agreement for prostate cancer grading. We extended the approach to significantly more complex images from colon biopsies and showed that the complex microenvironment in such tissues can also be reproduced. Finally, we present the ability for a user to generate deepfake histological images via a simple markup of sematic labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google