Characterizing Information Seeking Events in Health-Related Social Discourse

要約

ソーシャル メディア サイトは、個人が健康情報を探して共有するための人気のプラットフォームになっています。
ソーシャルメディアマイニングのための自然言語処理は進歩しているにもかかわらず、出来事に関連した社会的言説に関する健康関連テキストの分析にはギャップが残っています。
イベント駆動型分析は、治療の選択肢、誤解、知識のギャップなどを含む、個人レベルおよび集団レベルでの医療のさまざまな側面についての洞察を提供します。この論文は、社会的議論における健康関連の情報探索を特徴づけるパラダイムを、次のようなレンズを通して提示します。
イベント。
ここでのイベントは、治療/投薬の軌跡を捉える専門家によって定義されたボード カテゴリです。
このアプローチの価値を説明するために、世界的な健康上の重大な懸念であるオピオイド使用障害 (OUD) の治療薬に関する Reddit の投稿を分析します。
私たちの知る限り、これは、OUD 社会的言説における情報探索を特徴づけるためのイベント カテゴリを定義する最初の試みです。
分野専門家の指導のもと、私たちはイベントベースのフレームワークでオンライン談話を分析するための新しいマルチラベル治療情報探索イベントデータセットである TREAT-ISE を開発しました。
このデータセットには、OUDからの回復に関連する情報を求めるイベントに関するReddit投稿が含まれており、各投稿にはイベントのタイプに基づいて注釈が付けられます。
また、いくつかの機械学習および深層学習分類器を採用することで、タスクの強力なパフォーマンス ベンチマーク (77.4% F1 スコア) を確立しました。
最後に、このタスクにおける ChatGPT のパフォーマンスとエラーを徹底的に調査し、LLM の機能と進行中の特性評価の取り組みについての貴重な洞察を提供します。

要約(オリジナル)

Social media sites have become a popular platform for individuals to seek and share health information. Despite the progress in natural language processing for social media mining, a gap remains in analyzing health-related texts on social discourse in the context of events. Event-driven analysis can offer insights into different facets of healthcare at an individual and collective level, including treatment options, misconceptions, knowledge gaps, etc. This paper presents a paradigm to characterize health-related information-seeking in social discourse through the lens of events. Events here are board categories defined with domain experts that capture the trajectory of the treatment/medication. To illustrate the value of this approach, we analyze Reddit posts regarding medications for Opioid Use Disorder (OUD), a critical global health concern. To the best of our knowledge, this is the first attempt to define event categories for characterizing information-seeking in OUD social discourse. Guided by domain experts, we develop TREAT-ISE, a novel multilabel treatment information-seeking event dataset to analyze online discourse on an event-based framework. This dataset contains Reddit posts on information-seeking events related to recovery from OUD, where each post is annotated based on the type of events. We also establish a strong performance benchmark (77.4% F1 score) for the task by employing several machine learning and deep learning classifiers. Finally, we thoroughly investigate the performance and errors of ChatGPT on this task, providing valuable insights into the LLM’s capabilities and ongoing characterization efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google