Boosting Adverse Drug Event Normalization on Social Media: General-Purpose Model Initialization and Biomedical Semantic Text Similarity Benefit Zero-Shot Linking in Informal Contexts

要約

生物医学エンティティ リンク (生物医学概念の正規化とも呼ばれます) は、最近、ゼロショット コントラスト モデルの台頭を目の当たりにしています。
ただし、これらのモデルに使用される事前トレーニング資料は、これまで主に MIMIC-III 臨床ノート (Johnson et al., 2016) や PubMed 論文 (Sayers et al., 2021; Gao et al., 2021) などの専門的な生物医学コンテンツで構成されていました。
al.、2020）。
結果として得られるドメイン内モデルは、多くの生物医学的タスクに対して有望な結果を示していますが、ソーシャルメディアテキスト上での薬物有害事象の正規化は、これまでのところ依然として課題となっています(Portelli et al., 2022)。
この論文では、BioLORD (Remy et al., 2022) を介した汎用モデルの初期化と、STS と呼ばれるセマンティックテキスト類似性の微調整に依存した、ソーシャルメディア上での薬物有害事象の正規化のための新しいアプローチを提案します。
いくつかのソーシャル メディア データセットに対する私たちの実験結果は、最先端のパフォーマンスを達成することで、私たちが提案したアプローチの有効性を実証しています。
テストされたすべてのデータセットにわたる強力なパフォーマンスに基づいて、この研究はソーシャルメディア上での薬物有害事象の正規化というタスクのターニングポイントとして現れる可能性があり、この分野での将来の研究のベンチマークとして機能する可能性があると私たちは信じています。

要約(オリジナル)

Biomedical entity linking, also known as biomedical concept normalization, has recently witnessed the rise to prominence of zero-shot contrastive models. However, the pre-training material used for these models has, until now, largely consisted of specialist biomedical content such as MIMIC-III clinical notes (Johnson et al., 2016) and PubMed papers (Sayers et al., 2021; Gao et al., 2020). While the resulting in-domain models have shown promising results for many biomedical tasks, adverse drug event normalization on social media texts has so far remained challenging for them (Portelli et al., 2022). In this paper, we propose a new approach for adverse drug event normalization on social media relying on general-purpose model initialization via BioLORD (Remy et al., 2022) and a semantic-text-similarity fine-tuning named STS. Our experimental results on several social media datasets demonstrate the effectiveness of our proposed approach, by achieving state-of-the-art performance. Based on its strong performance across all the tested datasets, we believe this work could emerge as a turning point for the task of adverse drug event normalization on social media and has the potential to serve as a benchmark for future research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google