SYNFAC-EDIT: Synthetic Imitation Edit Feedback for Factual Alignment in Clinical Summarization

要約

GPT や Llama などの大規模言語モデル (LLM) は、要約タスクで大きな成果を上げていますが、事実の不正確さに悩まされています。これは、エラーが重大な結果につながる可能性がある臨床 NLP アプリケーションにおける重大な問題です。
事実との整合性を図るための専門家による注釈付きデータの高コストと入手可能性の制限に対処するために、この研究では、GPT-3.5 と GPT-4 を利用して、臨床ノートの要約における事実の一貫性を高めることを目的とした高品質のフィードバックを生成する革新的なパイプラインを導入しています。
私たちの研究は主に編集フィードバックに焦点を当てており、医療専門家が追加の注釈を必要とせずに AI システムの出力を改良する実際のシナリオを反映しています。
医師免許試験などのさまざまな臨床 NLP タスクにおける GPT の実績ある専門知識にもかかわらず、弱い LM または LLM の生成品質を改善するための専門家レベルの編集フィードバックを提供する GPT の能力に関する研究はほとんどありません。
この取り組みでは、臨床 NLP における GPT の高度な機能を活用して、専門家レベルの編集フィードバックを提供します。
GPT 編集フィードバックに基づく 2 つの異なる調整アルゴリズム (DPO と SALT) の使用を通じて、私たちの目標は、幻覚を軽減し、医学的事実と厳密に一致させ、AI によって生成されたコンテンツと事実の正確さの間の溝を狭めるよう努めることです。
これは、臨床事実の整合性を高める上での GPT 編集の大きな可能性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) such as GPT and Llama have demonstrated significant achievements in summarization tasks but struggle with factual inaccuracies, a critical issue in clinical NLP applications where errors could lead to serious consequences. To counter the high costs and limited availability of expert-annotated data for factual alignment, this study introduces an innovative pipeline that utilizes GPT-3.5 and GPT-4 to generate high-quality feedback aimed at enhancing factual consistency in clinical note summarization. Our research primarily focuses on edit feedback, mirroring the practical scenario in which medical professionals refine AI system outputs without the need for additional annotations. Despite GPT’s proven expertise in various clinical NLP tasks, such as the Medical Licensing Examination, there is scant research on its capacity to deliver expert-level edit feedback for improving weaker LMs or LLMs generation quality. This work leverages GPT’s advanced capabilities in clinical NLP to offer expert-level edit feedback. Through the use of two distinct alignment algorithms (DPO and SALT) based on GPT edit feedback, our goal is to reduce hallucinations and align closely with medical facts, endeavoring to narrow the divide between AI-generated content and factual accuracy. This highlights the substantial potential of GPT edits in enhancing the alignment of clinical factuality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google