KESDT: knowledge enhanced shallow and deep Transformer for detecting adverse drug reactions

要約

薬物有害反応 (ADR) は患者の健康と医療システムに重大な悪影響を与えるため、医療分野では医薬品副作用の検出が不可欠なタスクです。
多くの人がソーシャル メディア プラットフォームで情報を共有しているため、効果的な ADR 検出を実行するためにソーシャル メディア データに焦点を当てた取り組みが増えています。
目覚ましいパフォーマンスを達成しているにもかかわらず、ADR 検出の既存の方法には依然として 3 つの主要な課題があります。
第一に、研究者は一貫して、ドメインのキーワードと文内の他の単語の間の相互作用を無視してきました。
第 2 に、ソーシャル メディア データセットは、注釈の少ないデータという課題に悩まされています。
第三に、サンプルの不均衡の問題は、ソーシャル メディア データセットでよく観察されます。
これらの課題を解決するために、ADR 検出用の Knowledge Enhanced Shallow and Deep Transformer (KESDT) モデルを提案します。
具体的には、最初の問題に対処するために、浅い融合方法を通じてドメイン キーワードを Transformer モデルに組み込みます。これにより、モデルがドメイン キーワードと文内の他の単語の間の対話的な関係を完全に活用できるようになります。
注釈の少ないデータを克服するために、サンプルのサイズを拡大するディープフュージョン方式を通じて同義語セットを Transformer モデルに統合します。
サンプルの不均衡の影響を軽減するために、標準のクロスエントロピー損失関数を焦点損失関数に置き換えて、効果的なモデルトレーニングを実現します。
私たちは、TwiMed、Twitter、CADEC を含む 3 つの公開データセットで広範な実験を実施しています。
提案された KESDT は、F1 値に関して最先端のベースラインを上回り、相対的にそれぞれ 4.87%、47.83%、5.73% 改善しました。これは、提案された KESDT の有効性を示しています。

要約(オリジナル)

Adverse drug reaction (ADR) detection is an essential task in the medical field, as ADRs have a gravely detrimental impact on patients’ health and the healthcare system. Due to a large number of people sharing information on social media platforms, an increasing number of efforts focus on social media data to carry out effective ADR detection. Despite having achieved impressive performance, the existing methods of ADR detection still suffer from three main challenges. Firstly, researchers have consistently ignored the interaction between domain keywords and other words in the sentence. Secondly, social media datasets suffer from the challenges of low annotated data. Thirdly, the issue of sample imbalance is commonly observed in social media datasets. To solve these challenges, we propose the Knowledge Enhanced Shallow and Deep Transformer(KESDT) model for ADR detection. Specifically, to cope with the first issue, we incorporate the domain keywords into the Transformer model through a shallow fusion manner, which enables the model to fully exploit the interactive relationships between domain keywords and other words in the sentence. To overcome the low annotated data, we integrate the synonym sets into the Transformer model through a deep fusion manner, which expands the size of the samples. To mitigate the impact of sample imbalance, we replace the standard cross entropy loss function with the focal loss function for effective model training. We conduct extensive experiments on three public datasets including TwiMed, Twitter, and CADEC. The proposed KESDT outperforms state-of-the-art baselines on F1 values, with relative improvements of 4.87%, 47.83%, and 5.73% respectively, which demonstrates the effectiveness of our proposed KESDT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google