Large Multimodal Model based Standardisation of Pathology Reports with Confidence and their Prognostic Significance

要約

病理報告は臨床的、病理学的詳細が豊富であるが、しばしばフリーテキスト形式で提示される。このような報告書の非構造的な性質は、その内容へのアクセシビリティを制限する大きな課題となっている。本研究では、スキャンした病理報告書画像から情報を自動的に抽出するためのラージ・マルチモーダルモデル（LMM）を用いた実用的なアプローチを紹介する。提案されたアプローチは、抽出されたフィールドに信頼度スコアを割り当てず、実用的な使用を制限する既存の手法の限界を克服する。提案するフレームワークは、情報抽出と検証のために大規模マルチモーダルモデル（Large Multimodal Model: LMM）をプロンプトとする2つの段階を用いる。このフレームワークは、複数の医療センターからのテキスト報告書や、レガシー病理報告書のスキャン画像に対して一般的である。我々は、推定された信頼度が、抽出された情報の正確さの効果的な指標であり、正確に抽出されたフィールドのみを選択するために使用できることを示す。また、病理報告書からの構造化データおよび非構造化データの予後的重要性を示し、自動的に抽出されたフィールドの値が、患者の層別化に重要な予後的価値を持つことを示す。このフレームワークは、https://labieb.dcs.warwick.ac.uk/。

要約(オリジナル)

Pathology reports are rich in clinical and pathological details but are often presented in free-text format. The unstructured nature of these reports presents a significant challenge limiting the accessibility of their content. In this work, we present a practical approach based on the use of large multimodal models (LMMs) for automatically extracting information from scanned images of pathology reports with the goal of generating a standardised report specifying the value of different fields along with estimated confidence about the accuracy of the extracted fields. The proposed approach overcomes limitations of existing methods which do not assign confidence scores to extracted fields limiting their practical use. The proposed framework uses two stages of prompting a Large Multimodal Model (LMM) for information extraction and validation. The framework generalises to textual reports from multiple medical centres as well as scanned images of legacy pathology reports. We show that the estimated confidence is an effective indicator of the accuracy of the extracted information that can be used to select only accurately extracted fields. We also show the prognostic significance of structured and unstructured data from pathology reports and show that the automatically extracted field values significant prognostic value for patient stratification. The framework is available for evaluation via the URL: https://labieb.dcs.warwick.ac.uk/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL