Enhancing Summarization Performance through Transformer-Based Prompt Engineering in Automated Medical Reporting

要約

カスタマイズされた医療プロンプトにより、大規模言語モデル (LLM) が医療対話の要約に効果的に対処できるようになります。
医療専門家にとって、医療報告のプロセスは多くの場合時間がかかります。
医療対話要約技術の実装は、自動医療レポートを生成することでこの時間の制約を軽減する実行可能なソリューションを提供します。
このプロセスにおける LLM の有効性は、プロンプトの作成によって大きく影響されます。プロンプトは、生成されるレポートの品質と関連性を決定する上で重要な役割を果たします。
この研究では、自動医療レポートのパフォーマンスを向上させるために、ショット プロンプトとパターン プロンプトとして知られる 2 つの異なるプロンプト戦略を組み合わせて使用​​しました。
自動医療レポートの評価は、ROUGE スコアと専門家委員会の支援による人間による評価を使用して実行されます。
スコープおよびドメイン コンテキストと組み合わせた 2 ショット プロンプト アプローチは、一般開業医が設定した人間の基準と比較した場合、他の方法よりも優れたパフォーマンスを発揮し、最高のスコアを達成します。
ただし、自動レポートは、レポートに追加される冗長なステートメントと関連するステートメントの両方が追加されるため、人間が参照するレポートの約 2 倍の長さになります。

要約(オリジナル)

Customized medical prompts enable Large Language Models (LLM) to effectively address medical dialogue summarization. The process of medical reporting is often time-consuming for healthcare professionals. Implementing medical dialogue summarization techniques presents a viable solution to alleviate this time constraint by generating automated medical reports. The effectiveness of LLMs in this process is significantly influenced by the formulation of the prompt, which plays a crucial role in determining the quality and relevance of the generated reports. In this research, we used a combination of two distinct prompting strategies, known as shot prompting and pattern prompting to enhance the performance of automated medical reporting. The evaluation of the automated medical reports is carried out using the ROUGE score and a human evaluation with the help of an expert panel. The two-shot prompting approach in combination with scope and domain context outperforms other methods and achieves the highest score when compared to the human reference set by a general practitioner. However, the automated reports are approximately twice as long as the human references, due to the addition of both redundant and relevant statements that are added to the report.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google