MaLei at the PLABA Track of TREC 2024: RoBERTa for Term Replacement — LLaMA3.1 and GPT-4o for Complete Abstract Adaptation

要約

このレポートは、Biomedical Abstracts（PLABA）2024（昨年以前の名前がありました）の共有タスクの平易な言語適応のためのマレイチーム（マンチェスターとライデン）のシステム説明です。
：//ir.nist.gov/evalbase/conf/trec-2024）。
このレポートには、PLABA-2024の2つのサブタスクに対応する2つのセクションが含まれています。
タスク1（用語の交換）では、微調整されたRebertaベースモデルを適用して、生物医学の要約の困難な用語、専門用語、頭字語を識別および分類し、F1スコアを報告しました（タスク1Aおよび1B）。
タスク2（完全な抽象適応）では、LLAMMA3.1-70B-instructとGPT-4Oをワンショットプロンプトとともに抽象適応を完了し、BLEU、SARI、BERTSCORE、レンズ、およびサルサのスコアを報告しました。
タスク1Aおよび1BでのPLABA-2024からの公式評価から、2つのサブタスクでそれぞれ3位と2位にランクされた、はるかに小さい微調整されたRoberta-Baseモデルは、評価された9の2つのタスクで平均F1スコアで3位にランクされました。
システム。
llama-3.1-70b-instructedモデルは、タスク2の最高の完全性スコアを達成しました。https://github.com/hecta-uom/plaba2024でソースコード、微調整モデル、および関連リソースを共有します

要約(オリジナル)

This report is the system description of the MaLei team (Manchester and Leiden) for the shared task Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024 (we had an earlier name BeeManc following last year), affiliated with TREC2024 (33rd Text REtrieval Conference https://ir.nist.gov/evalbase/conf/trec-2024). This report contains two sections corresponding to the two sub-tasks in PLABA-2024. In task one (term replacement), we applied fine-tuned ReBERTa-Base models to identify and classify the difficult terms, jargon, and acronyms in the biomedical abstracts and reported the F1 score (Task 1A and 1B). In task two (complete abstract adaptation), we leveraged Llamma3.1-70B-Instruct and GPT-4o with the one-shot prompts to complete the abstract adaptation and reported the scores in BLEU, SARI, BERTScore, LENS, and SALSA. From the official Evaluation from PLABA-2024 on Task 1A and 1B, our much smaller fine-tuned RoBERTa-Base model ranked 3rd and 2nd respectively on the two sub-tasks, and the 1st on averaged F1 scores across the two tasks from 9 evaluated systems. Our LLaMA-3.1-70B-instructed model achieved the highest Completeness score for Task 2. We share our source codes, fine-tuned models, and related resources at https://github.com/HECTA-UoM/PLABA2024

arxiv情報

提供元, 利用サービス

arxiv.jp, Google