要約
デジタル病理学において、ディープラーニングに基づく画像セグメンテーションのための従来の方法は、通常、2段階のプロセスを含む。すなわち、最初に高解像度のホールスライド画像（WSI）をより小さなパッチ（例えば、256×256、512×512、1024×1024）にセグメンテーションし、その後、元のスケールに再構成する。この方法では、WSIの複雑な細部や広大な範囲を捉えるのに苦労することが多い。本論文では、最大解像度が80,000$倍$70,000ピクセルを超えるギガピクセルWSI上でエンドツーエンドのセグメンテーションを実現するホリスティック組織病理学（HoloHisto）セグメンテーション法を提案する。HoloHistoは、1)高解像度(4K)ベースパッチによる視覚情報の取り込みと効率的な処理、2)文脈関係を適切にモデル化し、4K入力からの豊富な情報を効率的にモデル化するための新しい逐次トークン化メカニズムにより、WSIセグメンテーションのパラダイムをエンドツーエンド学習方式に根本的にシフトする。我々の知る限り、HoloHistoは、完全なWSIとそれに対応するギガピクセルマスクの直接入出力をサポートする、ギガピクセル解像度のWSIセグメンテーションのための最初の総合的なアプローチを提示しています。HoloHistoプラットフォームの下で、超高解像度を超えるランダム4Kサンプラーを発表し、標準的な2Dパッチと3Dパッチのそれぞれ31倍と10倍のピクセルを提供し、計算能力を向上させる。効率的な4K解像度の高密度予測を促進するために、事前に訓練された画像トークナイザーを利用し、画像の特徴を離散的なトークングリッドにグループ化する逐次トークナイゼーションを活用します。性能を評価するために、我々のチームは、全マウス腎臓からのWSIレベルの糸球体セグメンテーションを持つ新しい腎臓病理画像セグメンテーション（KPI）データセットをキュレートした。その結果、HoloHisto-4Kは、従来の最先端モデルよりも顕著な性能向上を実現した。
要約(オリジナル)
In digital pathology, the traditional method for deep learning-based image segmentation typically involves a two-stage process: initially segmenting high-resolution whole slide images (WSI) into smaller patches (e.g., 256×256, 512×512, 1024×1024) and subsequently reconstructing them to their original scale. This method often struggles to capture the complex details and vast scope of WSIs. In this paper, we propose the holistic histopathology (HoloHisto) segmentation method to achieve end-to-end segmentation on gigapixel WSIs, whose maximum resolution is above 80,000$\times$70,000 pixels. HoloHisto fundamentally shifts the paradigm of WSI segmentation to an end-to-end learning fashion with 1) a large (4K) resolution base patch for elevated visual information inclusion and efficient processing, and 2) a novel sequential tokenization mechanism to properly model the contextual relationships and efficiently model the rich information from the 4K input. To our best knowledge, HoloHisto presents the first holistic approach for gigapixel resolution WSI segmentation, supporting direct I/O of complete WSI and their corresponding gigapixel masks. Under the HoloHisto platform, we unveil a random 4K sampler that transcends ultra-high resolution, delivering 31 and 10 times more pixels than standard 2D and 3D patches, respectively, for advancing computational capabilities. To facilitate efficient 4K resolution dense prediction, we leverage sequential tokenization, utilizing a pre-trained image tokenizer to group image features into a discrete token grid. To assess the performance, our team curated a new kidney pathology image segmentation (KPIs) dataset with WSI-level glomeruli segmentation from whole mouse kidneys. From the results, HoloHisto-4K delivers remarkable performance gains over previous state-of-the-art models.
arxiv情報
| 著者 | Yucheng Tang,Yufan He,Vishwesh Nath,Pengfeig Guo,Ruining Deng,Tianyuan Yao,Quan Liu,Can Cui,Mengmeng Yin,Ziyue Xu,Holger Roth,Daguang Xu,Haichun Yang,Yuankai Huo |
| 発行日 | 2024-07-03 17:49:31+00:00 |
| arxivサイト | arxiv_id(pdf) |