Matching-based Term Semantics Pre-training for Spoken Patient Query Understanding

要約

Medical Slot Filling (MSF) タスクは、医療クエリを構造化された情報に変換することを目的としており、診断対話システムで重要な役割を果たします。
ただし、用語のセマンティクスの学習が十分に行われていないため、既存のアプローチでは、意味的に同一であるが口語的な用語の表現を医学的会話で捉えることが難しくなっています。
この作業では、MSF をマッチング問題に形式化し、用語とクエリの両方を入力として受け取り、それらのセマンティックな相互作用をモデル化する Term Semantics Pre-trained Matching Network (TSPMN) を提案します。
用語のセマンティクスをよりよく学習するために、対比用語識別 (CTD) とマッチングベースのマスク用語モデリング (MMTM) を含む 2 つの自己教師あり目標をさらに設計します。
CTD は、与えられた用語ごとにダイアログ内のマスクされた用語であるかどうかを判断しますが、MMTM はマスクされた用語を直接予測します。
2 つの中国のベンチマークでの実験結果は、TSPMN が、特に少数ショットの設定で、強力なベースラインよりも優れていることを示しています。

要約(オリジナル)

Medical Slot Filling (MSF) task aims to convert medical queries into structured information, playing an essential role in diagnosis dialogue systems. However, the lack of sufficient term semantics learning makes existing approaches hard to capture semantically identical but colloquial expressions of terms in medical conversations. In this work, we formalize MSF into a matching problem and propose a Term Semantics Pre-trained Matching Network (TSPMN) that takes both terms and queries as input to model their semantic interaction. To learn term semantics better, we further design two self-supervised objectives, including Contrastive Term Discrimination (CTD) and Matching-based Mask Term Modeling (MMTM). CTD determines whether it is the masked term in the dialogue for each given term, while MMTM directly predicts the masked ones. Experimental results on two Chinese benchmarks show that TSPMN outperforms strong baselines, especially in few-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google