Comparing representations of long clinical texts for the task of patient note-identification

要約

この論文では、匿名化された臨床ノートを対応する患者に正確に一致させることを含む患者ノート識別の課題に対処します。
このタスクには、堅牢な患者レベルの表現が必要な重複レコードの検出と患者の類似性分析など、幅広いアプリケーションがあります。
階層的な注意ネットワーク（HAN）、3レベルの階層変圧器ネットワーク（HTN）、ロングフォーマー、および高度なBERTベースのモデルなど、さまざまな埋め込み方法を調査し、中程度の臨床テキストを効果的に処理する能力に焦点を当てています。
さらに、ワードレベルの埋め込みを患者レベルの表現に集約するためのさまざまなプーリング戦略（平均、max、および平均_max）を評価し、モデルのパフォーマンスに対するスライドウィンドウの影響を調べます。
我々の結果は、BERTベースの埋め込みが、特に長い臨床ノートの処理や微妙な患者の表現のキャプチャにおいて、従来の階層モデルと階層モデルよりも優れていることを示しています。
プーリング戦略の中で、Mean_Maxプーリングは一貫して最良の結果をもたらし、臨床ノートから重要な機能をキャプチャする能力を強調しています。
さらに、模倣データセットとネッカー病院の両方の病院データウェアハウスの両方で結果を再現することは、実世界のアプリケーションに対するこれらのアプローチの一般化可能性を示しており、患者の識別と患者レベルのモデリングの強化における埋め込み方法と集約戦略の両方の重要性を強調しています。

要約(オリジナル)

In this paper, we address the challenge of patient-note identification, which involves accurately matching an anonymized clinical note to its corresponding patient, represented by a set of related notes. This task has broad applications, including duplicate records detection and patient similarity analysis, which require robust patient-level representations. We explore various embedding methods, including Hierarchical Attention Networks (HAN), three-level Hierarchical Transformer Networks (HTN), LongFormer, and advanced BERT-based models, focusing on their ability to process mediumto-long clinical texts effectively. Additionally, we evaluate different pooling strategies (mean, max, and mean_max) for aggregating wordlevel embeddings into patient-level representations and we examine the impact of sliding windows on model performance. Our results indicate that BERT-based embeddings outperform traditional and hierarchical models, particularly in processing lengthy clinical notes and capturing nuanced patient representations. Among the pooling strategies, mean_max pooling consistently yields the best results, highlighting its ability to capture critical features from clinical notes. Furthermore, the reproduction of our results on both MIMIC dataset and Necker hospital data warehouse illustrates the generalizability of these approaches to real-world applications, emphasizing the importance of both embedding methods and aggregation strategies in optimizing patient-note identification and enhancing patient-level modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google