DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion

要約

このペーパーでは、医療アプリケーション向けソーシャル メディア マイニング (SMM4H) 2023 共有タスク 5 のためにデータ サイエンス フォー デジタル ヘルス (DS4DH) グループによって開発された、薬物有害事象正規化システムのパフォーマンス評価の概要を説明します。共有タスク 5 は、
医薬品有害事象に関する Twitter での言及は、規制活動用医学辞典の用語の標準概念に基づいています。
私たちのシステムは 2 段階のアプローチに基づいています。エンティティ認識のための BERT 微調整に続いて、文変換と逆数ランク融合を使用したゼロショット正規化です。
このアプローチにより、精度 44.9%、再現率 40.5%、F1 スコア 42.6% が得られました。
共有タスク 5 のパフォーマンス中央値を 10% 上回り、すべての参加者の中で最高のパフォーマンスを示しました。
これらの結果は、私たちのアプローチの有効性と、ソーシャルメディアテキストマイニングの領域における薬物有害事象の正規化へのその潜在的な応用を実証しています。

要約(オリジナル)

This paper outlines the performance evaluation of a system for adverse drug event normalization, developed by the Data Science for Digital Health (DS4DH) group for the Social Media Mining for Health Applications (SMM4H) 2023 shared task 5. Shared task 5 targeted the normalization of adverse drug event mentions in Twitter to standard concepts of the Medical Dictionary for Regulatory Activities terminology. Our system hinges on a two-stage approach: BERT fine-tuning for entity recognition, followed by zero-shot normalization using sentence transformers and reciprocal-rank fusion. The approach yielded a precision of 44.9%, recall of 40.5%, and an F1-score of 42.6%. It outperformed the median performance in shared task 5 by 10% and demonstrated the highest performance among all participants. These results substantiate the effectiveness of our approach and its potential application for adverse drug event normalization in the realm of social media text mining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google