BeeManc at the PLABA Track of TAC-2024: RoBERTa for task 1 — LLaMA3.1 and GPT-4o for task 2

要約

このレポートは、共有タスク「Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024」に対する BeeManc チームのシステム説明です。このレポートには、PLABA 2024 の 2 つのサブタスクに対応する 2 つのセクションが含まれています。タスク 1 では、微調整された ReBERTa を適用しました。
-生物医学抄録内の難しい用語、専門用語、頭字語を識別して分類し、F1 スコアを報告するためのベース モデル。
時間の都合上、交換作業は完了しませんでした。
タスク 2 では、Llamma3.1-70B-Instruct と GPT-4o をワンショット プロンプトとともに利用して抽象適応を完了し、BLEU、SARI、BERTScore、LENS、および SALSA のスコアを報告しました。
タスク 1A と 1B に関する PLABA-2024 の公式評価から、\textbf{はるかに小さく微調整された RoBERTa-Base} モデルは、2 つのサブタスクでそれぞれ 3 位と 2 位にランクされ、平均 F1 スコアでは \textbf{1 位になりました。
2 つのタスクにわたって} 9 つの評価済みシステムからの結果です。
LLaMA-3.1-70B で指示されたモデルは、タスク 2 で \textbf{最高の完全性} スコアを達成しました。
微調整されたモデルと関連リソースは \url{https://github.com/HECTA-UoM/PLABA2024} で共有されています。

要約(オリジナル)

This report is the system description of the BeeManc team for shared task Plain Language Adaptation of Biomedical Abstracts (PLABA) 2024. This report contains two sections corresponding to the two sub-tasks in PLABA 2024. In task one, we applied fine-tuned ReBERTa-Base models to identify and classify the difficult terms, jargon and acronyms in the biomedical abstracts and reported the F1 score. Due to time constraints, we didn’t finish the replacement task. In task two, we leveraged Llamma3.1-70B-Instruct and GPT-4o with the one-shot prompts to complete the abstract adaptation and reported the scores in BLEU, SARI, BERTScore, LENS, and SALSA. From the official Evaluation from PLABA-2024 on Task 1A and 1B, our \textbf{much smaller fine-tuned RoBERTa-Base} model ranked 3rd and 2nd respectively on the two sub-task, and the \textbf{1st on averaged F1 scores across the two tasks} from 9 evaluated systems. Our LLaMA-3.1-70B-instructed model achieved the \textbf{highest Completeness} score for Task-2. We share our fine-tuned models and related resources at \url{https://github.com/HECTA-UoM/PLABA2024}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google