PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles

要約

この文書では、医療専門家が厳選した臨床ノートのエラー検出と修正を含む、MEDIQA-CORR 共有タスクに対する当社のアプローチについて説明します。
このタスクには、エラーの存在の検出、エラーを含む特定の文の特定、および修正という 3 つのサブタスクの処理が含まれます。
私たちの研究を通じて、私たちは、事実と信頼性の低い情報の両方を含む膨大なインターネット データのコーパスでトレーニングされた大規模言語モデル (LLM) の機能を評価することを目指しています。
私たちは、すべてのサブタスクを一緒に包括的に取り組むことを提案し、独自のプロンプトベースのコンテキスト内学習戦略を採用することを提案します。
一般的な推論と医学的知識の組み合わせが要求されるこの特殊なタスクにおけるその有効性を評価します。
予測エラーが重大な結果をもたらす可能性がある医療システムでは、自己無撞着法とアンサンブル法を活用して、エラー修正とエラー検出のパフォーマンスを向上させることを提案します。

要約(オリジナル)

This paper describes our approach to the MEDIQA-CORR shared task, which involves error detection and correction in clinical notes curated by medical professionals. This task involves handling three subtasks: detecting the presence of errors, identifying the specific sentence containing the error, and correcting it. Through our work, we aim to assess the capabilities of Large Language Models (LLMs) trained on a vast corpora of internet data that contain both factual and unreliable information. We propose to comprehensively address all subtasks together, and suggest employing a unique prompt-based in-context learning strategy. We will evaluate its efficacy in this specialized task demanding a combination of general reasoning and medical knowledge. In medical systems where prediction errors can have grave consequences, we propose leveraging self-consistency and ensemble methods to enhance error correction and error detection performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google