Lisbon Computational Linguists at SemEval-2024 Task 2: Using A Mistral 7B Model and Data Augmentation

要約

この論文では、臨床試験レポート (CTR) に関するステートメントの分類に関する SemEval-2024 臨床試験のための安全な生物医学的自然言語推論 (NLI4CT) タスクに対する私たちのアプローチについて説明します。
私たちは、汎用的なオープンソース大規模言語モデル (LLM) である Mistral-7B の機能を調査しました。
NLI4CT タスクのプロンプトを開発し、トレーニング データセットの拡張バージョンを使用してモデルの量子化バージョンを微調整しました。
実験結果は、このアプローチがマクロ F1 スコアの点で顕著な結果を生み出す可能性がある一方で、忠実性と一貫性の点で制限があることを示しています。
開発されたすべてのコードは GitHub リポジトリで公開されています

要約(オリジナル)

This paper describes our approach to the SemEval-2024 safe biomedical Natural Language Inference for Clinical Trials (NLI4CT) task, which concerns classifying statements about Clinical Trial Reports (CTRs). We explored the capabilities of Mistral-7B, a generalist open-source Large Language Model (LLM). We developed a prompt for the NLI4CT task, and fine-tuned a quantized version of the model using an augmented version of the training dataset. The experimental results show that this approach can produce notable results in terms of the macro F1-score, while having limitations in terms of faithfulness and consistency. All the developed code is publicly available on a GitHub repository

arxiv情報

提供元, 利用サービス

arxiv.jp, Google