ODD: A Benchmark Dataset for the NLP-based Opioid Related Aberrant Behavior Detection

要約

オピオイド関連異常行動（ORAB）は、オピオイド過剰摂取の新たな危険因子を示します。
この論文では、ORAB 検出データセット用の ODD という名前の新しい生物医学自然言語処理ベンチマーク データセットを紹介します。
ODD は、患者の EHR メモから ORAB を特定し、9 つのカテゴリに分類するように設計された専門家による注釈付きのデータセットです。
1) 確認された異常行動、2) 示唆された異常行動、3) オピオイド、4) 適応症、5) 診断されたオピオイド依存症、6) ベンゾジアゼピン、7) 薬剤変更、8) 中枢神経系関連、および 9) 健康の社会的決定要因
。
ORAB を特定するために、2 つの最先端の自然言語処理モデル (微調整アプローチとプロンプトチューニング アプローチ) を調査しました。
実験結果は、ほとんどのカテゴリで即時調整モデルが微調整モデルよりも優れたパフォーマンスを示し、特に一般的ではないカテゴリ (示唆された異常行動、確認された異常行動、診断されたオピオイド依存症、および投薬変更) での利得が高かったことを示しています。
最良のモデルは精度再現曲線下のマクロ平均面積で最高の 88.17\% を達成しましたが、一般的ではないクラスにはまだパフォーマンスを向上させる大きな余地があります。
ODD は一般公開されています。

要約(オリジナル)

Opioid related aberrant behaviors (ORABs) present novel risk factors for opioid overdose. This paper introduces a novel biomedical natural language processing benchmark dataset named ODD, for ORAB Detection Dataset. ODD is an expert-annotated dataset designed to identify ORABs from patients’ EHR notes and classify them into nine categories; 1) Confirmed Aberrant Behavior, 2) Suggested Aberrant Behavior, 3) Opioids, 4) Indication, 5) Diagnosed opioid dependency, 6) Benzodiazepines, 7) Medication Changes, 8) Central Nervous System-related, and 9) Social Determinants of Health. We explored two state-of-the-art natural language processing models (fine-tuning and prompt-tuning approaches) to identify ORAB. Experimental results show that the prompt-tuning models outperformed the fine-tuning models in most cateogories and the gains were especially higher among uncommon categories (Suggested Aberrant Behavior, Confirmed Aberrant Behaviors, Diagnosed Opioid Dependence, and Medication Change). Although the best model achieved the highest 88.17\% on macro average area under precision recall curve, uncommon classes still have a large room for performance improvement. ODD is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google