Mining Clinical Notes for Physical Rehabilitation Exercise Information: Natural Language Processing Algorithm Development and Validation Study

要約

脳卒中後の患者のリハビリテーションには、正確で個別の治療計画が必要です。
自然言語処理 (NLP) は、臨床ノートから貴重な運動情報を抽出できる可能性を提供し、より効果的なリハビリテーション戦略の開発に役立ちます。
目的: この研究は、ピッツバーグ大学医療センターで治療を受けた脳卒中後の患者の臨床記録から身体リハビリテーション運動情報を抽出および分類するためのさまざまな NLP アルゴリズムを開発および評価することを目的としています。
脳卒中と診断された 13,605 人の患者のコホートが特定され、リハビリテーション療法のメモを含む臨床メモが検索されました。
身体リハビリテーション演習のさまざまな側面を表すために、包括的な臨床オントロジーが作成されました。
次に、ルールベース、機械学習ベースのアルゴリズム、大規模言語モデル (LLM) ベースのアルゴリズム (ChatGPT) など、最先端の NLP アルゴリズムが開発され、比較されました。
分析は、詳細な人口統計学的および臨床的特徴を含む 23,724 件のメモで構成されるデータセットに対して実行されました。
ルールベースの NLP アルゴリズムは、ほとんどの領域で優れたパフォーマンスを示し、特に「右側」位置の検出では F1 スコア 0.975 で、Gradient Boosting を 0.063 上回りました。
勾配ブースティングは「下肢」の位置検出 (F1 スコア: 0.978) で優れており、ルールベースの NLP を 0.023 上回りました。
また、「受動的動作範囲」でも顕著なパフォーマンスを示し、F1 スコアは 0.970 で、ルールベースの NLP より 0.032 改善しました。
ルールベースのアルゴリズムは、最大 0.65 の F1 スコアで「期間」、「セット」、および「繰り返し」を効率的に処理しました。
LLM ベースの NLP、特に数ショット プロンプトを備えた ChatGPT は高い再現率を達成しましたが、一般に精度と F1 スコアが低くなりました。
ただし、「Backward Plane」モーション検出では特に優れており、F1 スコア 0.846 を達成し、ルールベースのアルゴリズムの 0.720 を上回りました。

要約(オリジナル)

Post-stroke patient rehabilitation requires precise, personalized treatment plans. Natural Language Processing (NLP) offers potential to extract valuable exercise information from clinical notes, aiding in the development of more effective rehabilitation strategies. Objective: This study aims to develop and evaluate a variety of NLP algorithms to extract and categorize physical rehabilitation exercise information from the clinical notes of post-stroke patients treated at the University of Pittsburgh Medical Center. A cohort of 13,605 patients diagnosed with stroke was identified, and their clinical notes containing rehabilitation therapy notes were retrieved. A comprehensive clinical ontology was created to represent various aspects of physical rehabilitation exercises. State-of-the-art NLP algorithms were then developed and compared, including rule-based, machine learning-based algorithms, and large language model (LLM)-based algorithms (ChatGPT). Analysis was conducted on a dataset comprising 23,724 notes with detailed demographic and clinical characteristics. The rule-based NLP algorithm demonstrated superior performance in most areas, particularly in detecting the ‘Right Side’ location with an F1 score of 0.975, outperforming Gradient Boosting by 0.063. Gradient Boosting excelled in ‘Lower Extremity’ location detection (F1 score: 0.978), surpassing rule-based NLP by 0.023. It also showed notable performance in ‘Passive Range of Motion’ with an F1 score of 0.970, a 0.032 improvement over rule-based NLP. The rule-based algorithm efficiently handled ‘Duration’, ‘Sets’, and ‘Reps’ with F1 scores up to 0.65. LLM-based NLP, particularly ChatGPT with few-shot prompts, achieved high recall but generally lower precision and F1 scores. However, it notably excelled in ‘Backward Plane’ motion detection, achieving an F1 score of 0.846, surpassing the rule-based algorithm’s 0.720.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google