A Novel Approach for Pill-Prescription Matching with GNN Assistance and Contrastive Learning

要約

薬の取り違えは、患者に予期せぬ結果をもたらすリスクの1つである。このリスクを軽減するために、我々は携帯画像から錠剤の処方を正しく識別する自動システムを開発する。具体的には、服用した錠剤の画像と処方箋に記載された錠剤の名前を照合する、いわゆる錠剤処方照合タスクを定義する。そして、この課題に対して、グラフニューラルネットワーク(GNN)と対比学習を用いた新しいアプローチであるPIMAを提案する。特に、GNNを用いて処方箋中のテキストボックス間の空間的な相関を学習し、それによって錠剤名を持つテキストボックスを強調する。また、錠剤名のテキスト表現と錠剤画像の視覚表現との間のクロスモーダルな類似性のモデリングを容易にするために、対比学習を用いる。PIMAを用いた実験を行った結果、我々が構築した錠剤画像と処方箋画像の実データセットにおいて、PIMAがベースラインモデルを上回る性能を示すことが確認された。具体的には、PIMAは他のベースラインと比較して、精度を19.09%から46.95%まで向上させることができました。私たちは、この研究が新しい臨床アプリケーションを構築し、薬の安全性と患者ケアを改善するための新しい機会を開くことができると信じています。

要約(オリジナル)

Medication mistaking is one of the risks that can result in unpredictable consequences for patients. To mitigate this risk, we develop an automatic system that correctly identifies pill-prescription from mobile images. Specifically, we define a so-called pill-prescription matching task, which attempts to match the images of the pills taken with the pills’ names in the prescription. We then propose PIMA, a novel approach using Graph Neural Network (GNN) and contrastive learning to address the targeted problem. In particular, GNN is used to learn the spatial correlation between the text boxes in the prescription and thereby highlight the text boxes carrying the pill names. In addition, contrastive learning is employed to facilitate the modeling of cross-modal similarity between textual representations of pill names and visual representations of pill images. We conducted extensive experiments and demonstrated that PIMA outperforms baseline models on a real-world dataset of pill and prescription images that we constructed. Specifically, PIMA improves the accuracy from 19.09% to 46.95% compared to other baselines. We believe our work can open up new opportunities to build new clinical applications and improve medication safety and patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL