IryoNLP at MEDIQA-CORR 2024: Tackling the Medical Error Detection & Correction Task On the Shoulders of Medical Agents

要約

臨床領域に適用される自然言語処理では、大規模言語モデルの利用が、注釈付きデータが不足している知識集約的なタスクである臨床ノートのエラー検出と修正のための有望な手段として浮上しています。
このペーパーでは、4 つの LLM ベースの医療エージェントのスイートを活用する MedReAct’N’MedReFlex について説明します。
MedReAct エージェントは、観察、分析、およびアクションの実行によってプロセスを開始し、臨床ノート内の潜在的なエラーを対象とする検索をガイドする軌道を生成します。
その後、MedEval エージェントは 5 人の評価者を採用して、対象のエラーと提案された修正を評価します。
MedReAct のアクションが不十分であることが判明した場合、MedReFlex エージェントが介入し、反省的な分析に取り組み、代替戦略を提案します。
最後に、MedFinalParser エージェントは、エラー修正プロセスの整合性を確保しながら、元のスタイルを維持して最終出力をフォーマットします。
私たちのメソッドの中心となるコンポーネントの 1 つは、ClinicalCorp コーパスに基づく RAG パイプラインです。
臨床ガイドラインや情報を含む他のよく知られたソースの中でも、臨床 RAG アプリケーション用にオープンソースの MedWiki データセットを前処理してリリースしています。
私たちの結果は、MedReAct’N’MedReFlex フレームワークを通じて活用された ClinicalCorp による RAG アプローチの中心的な役割を示しています。
MEDIQA-CORR 2024 最終リーダーボードで 9 位を獲得しました。

要約(オリジナル)

In natural language processing applied to the clinical domain, utilizing large language models has emerged as a promising avenue for error detection and correction on clinical notes, a knowledge-intensive task for which annotated data is scarce. This paper presents MedReAct’N’MedReFlex, which leverages a suite of four LLM-based medical agents. The MedReAct agent initiates the process by observing, analyzing, and taking action, generating trajectories to guide the search to target a potential error in the clinical notes. Subsequently, the MedEval agent employs five evaluators to assess the targeted error and the proposed correction. In cases where MedReAct’s actions prove insufficient, the MedReFlex agent intervenes, engaging in reflective analysis and proposing alternative strategies. Finally, the MedFinalParser agent formats the final output, preserving the original style while ensuring the integrity of the error correction process. One core component of our method is our RAG pipeline based on our ClinicalCorp corpora. Among other well-known sources containing clinical guidelines and information, we preprocess and release the open-source MedWiki dataset for clinical RAG application. Our results demonstrate the central role of our RAG approach with ClinicalCorp leveraged through the MedReAct’N’MedReFlex framework. It achieved the ninth rank on the MEDIQA-CORR 2024 final leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google