Evaluating the Robustness of Adverse Drug Event Classification Models Using Templates

要約

薬物有害作用 (ADE) は、薬物治療によって生じるあらゆる有害な事象です。
ADE はその重要性にもかかわらず、公式チャンネルでは過小報告されることがよくあります。
したがって、一部の研究は、ソーシャルメディアでのADEに関する議論の検出に焦点を当てています。
ADE を検出するさまざまな試みで、印象的な結果が達成されています。
ただし、医学のような一か八かの分野では、モデルの能力を詳細に評価することが重要です。
英語の ADE 検出における徹底的なパフォーマンス評価の問題に、時間的順序、否定、センチメント、有益な効果の 4 つの機能の手作りのテンプレートを使用して対処します。
実施されたテスト セットで同様のパフォーマンスを示したモデルでも、これらの機能に関してさまざまな結果が得られることがわかりました。

要約(オリジナル)

An adverse drug effect (ADE) is any harmful event resulting from medical drug treatment. Despite their importance, ADEs are often under-reported in official channels. Some research has therefore turned to detecting discussions of ADEs in social media. Impressive results have been achieved in various attempts to detect ADEs. In a high-stakes domain such as medicine, however, an in-depth evaluation of a model’s abilities is crucial. We address the issue of thorough performance evaluation in English-language ADE detection with hand-crafted templates for four capabilities: Temporal order, negation, sentiment, and beneficial effect. We find that models with similar performance on held-out test sets have varying results on these capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google