Knowledge Graph Embeddings for Multi-Lingual Structured Representations of Radiology Reports

要約

臨床テキストを分析する方法は、ここ数年で大きな変化を遂げてきました。
BERT などの言語モデルの導入により、PubMedBERT や ClinicalBERT などの (生物) 医療分野への適応が生まれました。
これらのモデルは、アーカイブされた医療文書の大規模なデータベースに依存しています。
精度の点では良好なパフォーマンスを示していますが、解釈可能性の欠如と言語間での転送の制限の両方により、臨床現場での使用が制限されています。
特に放射線医学レポートに対応する、新しい軽量のグラフベースの埋め込み方法を紹介します。
レポートの構造と構成を考慮しながら、多言語の SNOMED 臨床用語知識ベースを通じてレポート内の医学用語を関連付けます。
結果として得られるグラフの埋め込みにより、臨床用語間の根底にある関係が明らかになり、大規模な事前トレーニング データセットに依存することなく、臨床医にとってより理解しやすく、臨床的により正確な表現が実現されます。
我々は、X 線レポートの疾患分類と画像分類という 2 つのタスクでこの埋め込みを使用する方法を示します。
疾患分類に関しては、当社のモデルは BERT ベースのモデルと競合する一方、サイズとトレーニング データ要件が大幅に小さくなっています。
画像分類については、クロスモーダル知識伝達を活用したグラフ埋め込みの有効性を示し、この方法が異なる言語間でどのように使用できるかを示します。

要約(オリジナル)

The way we analyse clinical texts has undergone major changes over the last years. The introduction of language models such as BERT led to adaptations for the (bio)medical domain like PubMedBERT and ClinicalBERT. These models rely on large databases of archived medical documents. While performing well in terms of accuracy, both the lack of interpretability and limitations to transfer across languages limit their use in clinical setting. We introduce a novel light-weight graph-based embedding method specifically catering radiology reports. It takes into account the structure and composition of the report, while also connecting medical terms in the report through the multi-lingual SNOMED Clinical Terms knowledge base. The resulting graph embedding uncovers the underlying relationships among clinical terms, achieving a representation that is better understandable for clinicians and clinically more accurate, without reliance on large pre-training datasets. We show the use of this embedding on two tasks namely disease classification of X-ray reports and image classification. For disease classification our model is competitive with its BERT-based counterparts, while being magnitudes smaller in size and training data requirements. For image classification, we show the effectiveness of the graph embedding leveraging cross-modal knowledge transfer and show how this method is usable across different languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google