WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles

要約

この論文では、科学出版物を非専門家がアクセスできるようにすることを目的とした、生物医学分野における自動素人要約に関する BioLaySumm2024 共有タスクにおける WisPerMed チームの取り組みについて詳しく説明します。
大規模言語モデル (LLM)、具体的には BioMistral モデルと Llama3 モデルが微調整され、複雑な科学文書から簡単な要約を作成するために使用されました。
要約パフォーマンスは、命令チューニング、少数ショット学習、特定のコンテキスト情報を組み込むために調整されたプロンプトのバリエーションなど、さまざまなアプローチを通じて強化されました。
実験では、一般に、微調整を行うことで、ほとんどの評価指標にわたって最高のパフォーマンスが得られることが実証されました。
少数ショット学習により、特に巧妙に作成されたプロンプトを使用する場合に、関連性があり事実に正確なテキストを生成するモデルの能力が著しく向上しました。
さらに、可読性と事実性の指標に基づいてテキスト出力の選択を最適化する Dynamic Expert Selection (DES) メカニズムが開発されました。
54 人の参加者のうち、WisPerMed チームは、読みやすさ、事実性、関連性の評価で 4 位に到達しました。
全体的なスコアによって決定され、私たちのアプローチはベースラインよりも約 1.5 改善されました。
5.5ポイント差で、1位とはわずか約1.5ポイントの差だった。

要約(オリジナル)

This paper details the efforts of the WisPerMed team in the BioLaySumm2024 Shared Task on automatic lay summarization in the biomedical domain, aimed at making scientific publications accessible to non-specialists. Large language models (LLMs), specifically the BioMistral and Llama3 models, were fine-tuned and employed to create lay summaries from complex scientific texts. The summarization performance was enhanced through various approaches, including instruction tuning, few-shot learning, and prompt variations tailored to incorporate specific context information. The experiments demonstrated that fine-tuning generally led to the best performance across most evaluated metrics. Few-shot learning notably improved the models’ ability to generate relevant and factually accurate texts, particularly when using a well-crafted prompt. Additionally, a Dynamic Expert Selection (DES) mechanism to optimize the selection of text outputs based on readability and factuality metrics was developed. Out of 54 participants, the WisPerMed team reached the 4th place, measured by readability, factuality, and relevance. Determined by the overall score, our approach improved upon the baseline by approx. 5.5 percentage points and was only approx 1.5 percentage points behind the first place.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google