Spatial-temporal Hierarchical Reinforcement Learning for Interpretable Pathology Image Super-Resolution

要約

病理画像は細胞病理学スクリーニングで病変細胞を正確に解釈するために不可欠ですが、高解像度のデジタルスライドを取得するには特殊な機器と長いスキャン時間が必要です。
超解像 (SR) 技術はこの問題を軽減できますが、既存の深層学習モデルはブラックボックス方式で病理画像を復元するため、真実ではない生物学的詳細や誤診につながる可能性があります。
さらに、現在の方法では、病理画像の各ピクセルを回復するために同じ計算リソースが割り当てられるため、病理画像のばらつきが大きいために最適ではない回復の問題が発生します。
この論文では、主に病理画像の超解像問題における前述の問題に対処するために、空間時間的階層強化学習 (STAR-RL) と呼ばれる最初の階層型強化学習フレームワークを提案します。
SR 問題を解釈可能な操作のマルコフ決定プロセスとして再定式化し、次善の回復を回避するためにパッチ レベルで階層回復メカニズムを採用します。
具体的には、より高いレベルの空間マネージャーが、より低いレベルのパッチ ワーカーのために最も破損したパッチを選択することが提案されています。
さらに、より高いレベルのテンポラル マネージャが、選択されたパッチを評価し、最適化を早期に停止する必要があるかどうかを判断するように進められ、それによって過剰処理の問題が回避されます。
時空間マネージャーの指導の下、下位レベルのパッチ ワーカーは、各タイム ステップでピクセル単位で解釈可能なアクションを使用して、選択されたパッチを処理します。
さまざまなカーネルによって劣化された医療画像に関する実験結果は、STAR-RL の有効性を示しています。
さらに、STAR-RL は腫瘍診断の促進を大きなマージンで検証し、さまざまな分解下での汎用性を示します。
ソース コードは https://github.com/CUHK-AIM-Group/STAR-RL で入手できます。

要約(オリジナル)

Pathology image are essential for accurately interpreting lesion cells in cytopathology screening, but acquiring high-resolution digital slides requires specialized equipment and long scanning times. Though super-resolution (SR) techniques can alleviate this problem, existing deep learning models recover pathology image in a black-box manner, which can lead to untruthful biological details and misdiagnosis. Additionally, current methods allocate the same computational resources to recover each pixel of pathology image, leading to the sub-optimal recovery issue due to the large variation of pathology image. In this paper, we propose the first hierarchical reinforcement learning framework named Spatial-Temporal hierARchical Reinforcement Learning (STAR-RL), mainly for addressing the aforementioned issues in pathology image super-resolution problem. We reformulate the SR problem as a Markov decision process of interpretable operations and adopt the hierarchical recovery mechanism in patch level, to avoid sub-optimal recovery. Specifically, the higher-level spatial manager is proposed to pick out the most corrupted patch for the lower-level patch worker. Moreover, the higher-level temporal manager is advanced to evaluate the selected patch and determine whether the optimization should be stopped earlier, thereby avoiding the over-processed problem. Under the guidance of spatial-temporal managers, the lower-level patch worker processes the selected patch with pixel-wise interpretable actions at each time step. Experimental results on medical images degraded by different kernels show the effectiveness of STAR-RL. Furthermore, STAR-RL validates the promotion in tumor diagnosis with a large margin and shows generalizability under various degradations. The source code is available at https://github.com/CUHK-AIM-Group/STAR-RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google