Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation

要約

この論文では、生物医学的クエリに焦点を当てた複数文書の要約のためのプロンプト エンジニアリングと GPT-3.5 の使用について報告します。
GPT-3.5 と適切なプロンプトを使用することで、当社のシステムは、2023 BioASQ Challenge (BioASQ 11b) の生物医学的質問に対する短いパラグラフ サイズの回答を得るというタスクにおいて、ROUGE-F1 で最高の結果を達成しました。
この論文は、他の領域で観察されたことを裏付けています。 1) 少数ショットのサンプルを組み込んだプロンプトは、一般に、対応するゼロショットのバリアントよりも改善されました。
2) 最大の改善は、検索拡張生成によって達成されました。
これらのプロンプトにより、上位の実行が BioASQ 11b の上位 2 つの実行内にランクされるという事実は、大規模言語モデル全般、特にクエリ中心の要約の GPT-3.5 に適切なプロンプトを使用する能力を示しています。

要約(オリジナル)

This paper reports on the use of prompt engineering and GPT-3.5 for biomedical query-focused multi-document summarisation. Using GPT-3.5 and appropriate prompts, our system achieves top ROUGE-F1 results in the task of obtaining short-paragraph-sized answers to biomedical questions in the 2023 BioASQ Challenge (BioASQ 11b). This paper confirms what has been observed in other domains: 1) Prompts that incorporated few-shot samples generally improved on their counterpart zero-shot variants; 2) The largest improvement was achieved by retrieval augmented generation. The fact that these prompts allow our top runs to rank within the top two runs of BioASQ 11b demonstrate the power of using adequate prompts for Large Language Models in general, and GPT-3.5 in particular, for query-focused summarisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google