Focus-Driven Contrastive Learniang for Medical Question Summarization

要約

医療に関する質問の自動要約は、システムが消費者の健康に関する質問を理解し、正しい回答を取得するのに非常に役立ちます。
最尤推定 (MLE) に基づく Seq2Seq モデルがこのタスクに適用されましたが、これは 2 つの一般的な問題に直面しています: モデルは質問の焦点をうまく捉えることができず、従来の MLE 戦略は文レベルのセマンティクスを理解する能力を欠いています。
これらの問題を軽減するために、新しい質問フォーカス駆動型の対照学習フレームワーク (QFCL) を提案します。
特に、質問の焦点に基づいてハードネガティブサンプルを生成し、エンコーダーとデコーダーの両方で対照的な学習を利用して、より良い文レベルの表現を取得するための簡単で効果的なアプローチを提案します。
3 つの医療ベンチマーク データセットで、提案されたモデルは新しい最先端の結果を達成し、3 つのデータセットのベースライン BART モデルよりもそれぞれ 5.33、12.85、3.81 ポイントのパフォーマンス向上を得ます。
さらなる人間の判断と詳細な分析により、当社の QFCL モデルは、さまざまな文の意味を区別する能力を備えたより優れた文表現を学習し、質問の焦点を捉えて高品質の要約を生成することが証明されています。

要約(オリジナル)

Automatic medical question summarization can significantly help the system to understand consumer health questions and retrieve correct answers. The Seq2Seq model based on maximum likelihood estimation (MLE) has been applied in this task, which faces two general problems: the model can not capture well question focus and and the traditional MLE strategy lacks the ability to understand sentence-level semantics. To alleviate these problems, we propose a novel question focus-driven contrastive learning framework (QFCL). Specially, we propose an easy and effective approach to generate hard negative samples based on the question focus, and exploit contrastive learning at both encoder and decoder to obtain better sentence level representations. On three medical benchmark datasets, our proposed model achieves new state-of-the-art results, and obtains a performance gain of 5.33, 12.85 and 3.81 points over the baseline BART model on three datasets respectively. Further human judgement and detailed analysis prove that our QFCL model learns better sentence representations with the ability to distinguish different sentence meanings, and generates high-quality summaries by capturing question focus.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google