Chain-of-Though (CoT) prompting strategies for medical error detection and correction

要約

この文書では、臨床ノート内の医療ミスを自動的に検出および修正するための MEDIQA-CORR 2024 共有タスクへの提出について説明します。
思考連鎖 (CoT) で強化された少数ショットのインコンテキスト学習 (ICL) の 3 つの方法の結果を報告し、大規模言語モデル (LLM) を使用してプロンプトを推論します。
最初の方法では、トレーニング データセットと検証データセットのサブセットを手動で分析し、臨床ノート内のエラー タイプを調べることで 3 つの CoT プロンプトを推測します。
2 番目の方法では、トレーニング データセットを利用して、LLM にその正誤に関する理由を推測させます。
構築された CoT とその理由は、エラー検出、スパン識別、およびエラー修正のタスクを解決するために ICL の例で強化されます。
最後に、ルールベースのアンサンブル手法を使用して 2 つの手法を組み合わせます。
3 つのサブタスク全体で、アンサンブル手法はサブタスク 1 と 2 の両方で 3 位のランキングを達成し、サブタスク 3 ではすべての提出課題の中で 7 位を確保しました。

要約(オリジナル)

This paper describes our submission to the MEDIQA-CORR 2024 shared task for automatically detecting and correcting medical errors in clinical notes. We report results for three methods of few-shot In-Context Learning (ICL) augmented with Chain-of-Thought (CoT) and reason prompts using a large language model (LLM). In the first method, we manually analyse a subset of train and validation dataset to infer three CoT prompts by examining error types in the clinical notes. In the second method, we utilise the training dataset to prompt the LLM to deduce reasons about their correctness or incorrectness. The constructed CoTs and reasons are then augmented with ICL examples to solve the tasks of error detection, span identification, and error correction. Finally, we combine the two methods using a rule-based ensemble method. Across the three sub-tasks, our ensemble method achieves a ranking of 3rd for both sub-task 1 and 2, while securing 7th place in sub-task 3 among all submissions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google