Clinically-Inspired Multi-Agent Transformers for Disease Trajectory Forecasting from Multimodal Data

要約

ディープ ニューラル ネットワークは、医療診断の問題を自動化するために医療画像に適用されることがよくあります。
ただし、開業医が通常直面するより臨床的に関連する問題は、疾患の将来の軌道を予測する方法です。
予後または疾患の軌跡を予測するための現在の方法は、多くの場合、ドメインの知識を必要とし、適用が複雑です。
この論文では、予後予測問題を1対多の予測問題として定式化します。
2 人のエージェント (放射線科医と一般開業医) による臨床意思決定プロセスに着想を得て、相互に情報を共有する 2 つの変換器ベースのコンポーネントを使用して予後を予測します。
このフレームワークの最初のトランスフォーマーは、画像データの分析を目的とし、2 つ目のトランスフォーマーは内部状態を入力として活用し、それらを補助的な臨床データと融合します。
問題の時間的性質は変換状態内でモデル化されるため、予測問題をマルチタスク分類として扱うことができ、そのために新しい損失を提案します。
変形性膝関節症の構造的変化の進行を予測し、生のマルチモーダル データから直接アルツハイマー病の臨床状態を予測するアプローチの有効性を示します。
提案された方法は、パフォーマンスとキャリブレーションに関して複数の最先端のベースラインよりも優れており、どちらも実際のアプリケーションに必要です。
メソッドのオープンソース実装は、\url{https://github.com/Oulu-IMEDS/CLIMATv2} で公開されています。

要約(オリジナル)

Deep neural networks are often applied to medical images to automate the problem of medical diagnosis. However, a more clinically relevant question that practitioners usually face is how to predict the future trajectory of a disease. Current methods for prognosis or disease trajectory forecasting often require domain knowledge and are complicated to apply. In this paper, we formulate the prognosis prediction problem as a one-to-many prediction problem. Inspired by a clinical decision-making process with two agents — a radiologist and a general practitioner — we predict prognosis with two transformer-based components that share information with each other. The first transformer in this framework aims to analyze the imaging data, and the second one leverages its internal states as inputs, also fusing them with auxiliary clinical data. The temporal nature of the problem is modeled within the transformer states, allowing us to treat the forecasting problem as a multi-task classification, for which we propose a novel loss. We show the effectiveness of our approach in predicting the development of structural knee osteoarthritis changes and forecasting Alzheimer’s disease clinical status directly from raw multi-modal data. The proposed method outperforms multiple state-of-the-art baselines with respect to performance and calibration, both of which are needed for real-world applications. An open-source implementation of our method is made publicly available at \url{https://github.com/Oulu-IMEDS/CLIMATv2}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google