Experience and Evidence are the eyes of an excellent summarizer! Towards Knowledge Infused Multi-modal Clinical Conversation Summarization

要約

遠隔医療の進歩に伴い、研究者と医療従事者の両者が協力して、診断レポートの作成などのさまざまな医療業務を自動化するためのさまざまな技術の開発に取り組んでいます。
この論文では、まず、臨床医と患者のインタラクション (テキスト情報と視覚情報の両方) を取得し、会話の簡潔な概要を生成する、マルチモーダルな臨床会話概要生成タスクを紹介します。
私たちは、知識を注入した、マルチモーダル、マルチタスクの医療ドメイン識別および臨床会話要約生成 (MM-CliConSummation) フレームワークを提案します。
アダプターを活用して知識と視覚的特徴を注入し、ゲート機構を使用して融合された特徴ベクトルを統合します。
さらに、意図、症状、概要の注釈が付けられた、マルチモーダル、マルチインテントの臨床会話要約コーパスを開発しました。
量的および定性的な広範な一連の実験により、次の発見が得られました: (a) ビジュアルの重要な重要性、(b) 追加の知識の注入により要約をより正確に保持する医療実体、および (c) 診療科の識別間の相関
そして臨床概要の生成。
さらに、データセットとソース コードは https://github.com/NLP-RL/MM-CliConSummation で入手できます。

要約(オリジナル)

With the advancement of telemedicine, both researchers and medical practitioners are working hand-in-hand to develop various techniques to automate various medical operations, such as diagnosis report generation. In this paper, we first present a multi-modal clinical conversation summary generation task that takes a clinician-patient interaction (both textual and visual information) and generates a succinct synopsis of the conversation. We propose a knowledge-infused, multi-modal, multi-tasking medical domain identification and clinical conversation summary generation (MM-CliConSummation) framework. It leverages an adapter to infuse knowledge and visual features and unify the fused feature vector using a gated mechanism. Furthermore, we developed a multi-modal, multi-intent clinical conversation summarization corpus annotated with intent, symptom, and summary. The extensive set of experiments, both quantitatively and qualitatively, led to the following findings: (a) critical significance of visuals, (b) more precise and medical entity preserving summary with additional knowledge infusion, and (c) a correlation between medical department identification and clinical synopsis generation. Furthermore, the dataset and source code are available at https://github.com/NLP-RL/MM-CliConSummation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google