Beyond the Monitor: Mixed Reality Visualization and AI for Enhanced Digital Pathology Workflow

要約

病理医は、癌のような病気を診断するために、ギガピクセルのホールスライド画像（WSI）に依存しているが、現在のデジタル病理ツールは診断を妨げている。100,000X100,000ピクセルをしばしば超えるWSIの巨大なスケールは、従来のモニターが提供する限られた視野と衝突する。このミスマッチは、常にパンやズームを余儀なくさせ、病理医の認知的負荷を増大させ、診断疲労を引き起こし、病理医のデジタル手法の採用を遅らせている。Apple Vision ProのためのPathVisは、このような課題を解決します。病理医とデータとのインタラクションを変革し、煩雑なマウスとモニターによるナビゲーションを、没入型ワークスペースにおける自然なハンドジェスチャー、視線、音声コマンドを用いた直感的な探索に置き換えます。PathVisはAIを統合して診断を強化します。AI主導の検索機能は、類似した患者症例の上位5件を即座に検索して並べて表示し、迅速な比較によって診断精度と効率を向上させます。さらに、マルチモーダルな会話型AIアシスタントがリアルタイムの画像解釈をサポートし、複数のアップル製デバイスを介した病理医間のコラボレーションを支援します。PathVisは、伝統的な病理学の直接性と先進的な複合現実の視覚化およびAIを融合させることで、診断ワークフローを改善し、認知的負担を軽減し、病理診療をより効果的で魅力的なものにします。PathVisのソースコードとデモビデオは、https://github.com/jaiprakash1824/Path_Vis で公開されています。

要約(オリジナル)

Pathologists rely on gigapixel whole-slide images (WSIs) to diagnose diseases like cancer, yet current digital pathology tools hinder diagnosis. The immense scale of WSIs, often exceeding 100,000 X 100,000 pixels, clashes with the limited views traditional monitors offer. This mismatch forces constant panning and zooming, increasing pathologist cognitive load, causing diagnostic fatigue, and slowing pathologists’ adoption of digital methods. PathVis, our mixed-reality visualization platform for Apple Vision Pro, addresses these challenges. It transforms the pathologist’s interaction with data, replacing cumbersome mouse-and-monitor navigation with intuitive exploration using natural hand gestures, eye gaze, and voice commands in an immersive workspace. PathVis integrates AI to enhance diagnosis. An AI-driven search function instantly retrieves and displays the top five similar patient cases side-by-side, improving diagnostic precision and efficiency through rapid comparison. Additionally, a multimodal conversational AI assistant offers real-time image interpretation support and aids collaboration among pathologists across multiple Apple devices. By merging the directness of traditional pathology with advanced mixed-reality visualization and AI, PathVis improves diagnostic workflows, reduces cognitive strain, and makes pathology practice more effective and engaging. The PathVis source code and a demo video are publicly available at: https://github.com/jaiprakash1824/Path_Vis

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL