Examining Deployment and Refinement of the VIOLA-AI Intracranial Hemorrhage Model Using an Interactive NeoMedSys Platform

要約

背景：放射線学におけるAIツールの臨床展開には、多くの課題と機会があります。
現在の研究では、AIモデルの効率的な展開と改良性を可能にするNeomedsysと呼ばれる放射線ソフトウェアプラットフォームについて説明しています。
実際の臨床環境で3か月間Neomedsysを実行することの実現可能性と有効性を評価し、頭蓋内出血（ICH）検出のために設計された社内開発AIモデル（Viola-AI）の改善に焦点を当てました。
方法：NeomedSysは、Webベースの医療画像視聴者、注釈システム、および病院全体の放射線情報システムを使用してAIモデルを展開、テスト、および最適化するためのツールを統合します。
外傷性脳損傷（TBI）の疑いがあるノルウェー（SITE-1）または脳卒中の疑いがある患者（SITE-2）の患者に提示する患者の臨床症例を使用して、実用的な調査を展開しました。
Viola-AIが新しいデータに遭遇し、事前に計画されたモデル再訓練を受けたため、ICH分類パフォーマンスを評価しました。
パフォーマンスメトリックには、感度、特異性、精度、および受信機動作特性曲線（AUC）の下の領域が含まれます。
結果：NeomedsysはAIモデルの反復改善を促進し、診断の精度を大幅に向上させました。
自動化されたブリード検出とセグメンテーションは、ヴィオラAIの再訓練を促進するために、ほぼリアルタイムでレビューされました。
反復改良プロセスは、分類感度の著しい改善をもたらし、90.3％（79.2％から）、および89.3％（80.7％から）に達した特異性に上昇しました。
サンプル全体のブリード検出ROC分析により、0.949（0.873から）の高い面積（AUC）が示されました。
モデルの改良段階は、顕著な利益に関連しており、リアルタイムの放射線科医のフィードバックの価値を強調しています。

要約(オリジナル)

Background: There are many challenges and opportunities in the clinical deployment of AI tools in radiology. The current study describes a radiology software platform called NeoMedSys that can enable efficient deployment and refinements of AI models. We evaluated the feasibility and effectiveness of running NeoMedSys for three months in real-world clinical settings and focused on improvement performance of an in-house developed AI model (VIOLA-AI) designed for intracranial hemorrhage (ICH) detection. Methods: NeoMedSys integrates tools for deploying, testing, and optimizing AI models with a web-based medical image viewer, annotation system, and hospital-wide radiology information systems. A pragmatic investigation was deployed using clinical cases of patients presenting to the largest Emergency Department in Norway (site-1) with suspected traumatic brain injury (TBI) or patients with suspected stroke (site-2). We assessed ICH classification performance as VIOLA-AI encountered new data and underwent pre-planned model retraining. Performance metrics included sensitivity, specificity, accuracy, and the area under the receiver operating characteristic curve (AUC). Results: NeoMedSys facilitated iterative improvements in the AI model, significantly enhancing its diagnostic accuracy. Automated bleed detection and segmentation were reviewed in near real-time to facilitate re-training VIOLA-AI. The iterative refinement process yielded a marked improvement in classification sensitivity, rising to 90.3% (from 79.2%), and specificity that reached 89.3% (from 80.7%). The bleed detection ROC analysis for the entire sample demonstrated a high area-under-the-curve (AUC) of 0.949 (from 0.873). Model refinement stages were associated with notable gains, highlighting the value of real-time radiologist feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google