Yes, this is what I was looking for! Towards Multi-modal Medical Consultation Concern Summary Generation

要約

過去数年間で、医療関連業務でのインターネットの利用は飛躍的に増加しており、情報を効果的に管理および処理して効率的に利用することが課題となっています。
感情的な動揺や心理的課題に直面したとき、私たちは最初の支援源としてインターネットに頼ることが多く、関連する社会的偏見のために自分の感情を他人と話し合うよりもインターネットを選択します。
この論文では、診察中に提起された患者の主要な懸念事項の短く正確な概要を提供する、マルチモーダル医療懸念概要 (MMCS) 生成という新しいタスクを提案します。
患者の身振りや表情などの非言語的手がかりは、患者の懸念を正確に特定するのに役立ちます。
医師は病状を適切に説明するために、年齢や性別などの患者の個人情報も考慮します。
患者の個人的なコンテキストと視覚的ジェスチャーの潜在的な有効性に動機付けられ、トランスフォーマーベースのマルチタスク、マルチモーダルの意図認識、および医療懸念概要生成 (IR-MMCSG) システムを提案します。
さらに、医師と患者の診察のための意図認識と医学的懸念の概要生成のためのマルチタスク フレームワークを提案します。
私たちは、医療懸念の概要、意図、患者の個人情報、医師の推奨事項、およびキーワードが注釈付けされた患者と医師の診察を含む、最初のマルチモーダル医療懸念概要生成 (MM-MediConSummation) コーパスを構築します。
私たちの実験と分析は、(a) 意図の特定と医療上の懸念の概要の生成における患者の表情/ジェスチャーとその個人情報の重要な役割、および (b) 意図の認識と患者の医療上の懸念の概要の生成との間に強い相関関係があることを実証しています。
ソース コードは https://github.com/NLP-RL/MMCSG で入手できます。

要約(オリジナル)

Over the past few years, the use of the Internet for healthcare-related tasks has grown by leaps and bounds, posing a challenge in effectively managing and processing information to ensure its efficient utilization. During moments of emotional turmoil and psychological challenges, we frequently turn to the internet as our initial source of support, choosing this over discussing our feelings with others due to the associated social stigma. In this paper, we propose a new task of multi-modal medical concern summary (MMCS) generation, which provides a short and precise summary of patients’ major concerns brought up during the consultation. Nonverbal cues, such as patients’ gestures and facial expressions, aid in accurately identifying patients’ concerns. Doctors also consider patients’ personal information, such as age and gender, in order to describe the medical condition appropriately. Motivated by the potential efficacy of patients’ personal context and visual gestures, we propose a transformer-based multi-task, multi-modal intent-recognition, and medical concern summary generation (IR-MMCSG) system. Furthermore, we propose a multitasking framework for intent recognition and medical concern summary generation for doctor-patient consultations. We construct the first multi-modal medical concern summary generation (MM-MediConSummation) corpus, which includes patient-doctor consultations annotated with medical concern summaries, intents, patient personal information, doctor’s recommendations, and keywords. Our experiments and analysis demonstrate (a) the significant role of patients’ expressions/gestures and their personal information in intent identification and medical concern summary generation, and (b) the strong correlation between intent recognition and patients’ medical concern summary generation The dataset and source code are available at https://github.com/NLP-RL/MMCSG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google