SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

要約

タイトル: SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

要約:
– この論文は、SemEval 2023のタスク「Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT)」の結果を説明している。
– タスク1は強制関連性（entailment）タスクであり、タスク2は臨床試験に関するエビデンス選択タスクである。
– バイオメディカルおよび数値推論に関するマルチホップの課題であり、大規模な医療エビデンスの解釈や検索が可能なシステムの開発に重要な情報を提供する。
– タスク1は40人の参加者から643提出があり、タスク2は23人の参加者から364提出があった。
– 両タスクとも苦戦する難易度であり、多数派のベースラインに対して重要な成果をあげたシステムはほとんどなく、エビデンス選択タスクでの性能の方が良かった。
– モデルパラメータの数を増やすと性能が向上し、生物医学の事前学習の効果よりもはるかに有意な改善が見られた。
– 大規模なモデルの一般化と数値推論の限界を探求し、より厳密なテストとファインチューニングを容易にするために臨床データセットの拡張方法を検討する必要がある。
– このタスクのデータセット、モデル、および結果は、バイオメディカルのNLIおよびエビデンス検索コミュニティに役立つと考えられており、公開されている。

要約(オリジナル)

This paper describes the results of SemEval 2023 task 7 — Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT) — consisting of 2 tasks, a Natural Language Inference (NLI) task, and an evidence selection task on clinical trial data. The proposed challenges require multi-hop biomedical and numerical reasoning, which are of significant importance to the development of systems capable of large-scale interpretation and retrieval of medical evidence, to provide personalized evidence-based care. Task 1, the entailment task, received 643 submissions from 40 participants, and Task 2, the evidence selection task, received 364 submissions from 23 participants. The tasks are challenging, with the majority of submitted systems failing to significantly outperform the majority class baseline on the entailment task, and we observe significantly better performance on the evidence selection task than on the entailment task. Increasing the number of model parameters leads to a direct increase in performance, far more significant than the effect of biomedical pre-training. Future works could explore the limitations of large models for generalization and numerical inference, and investigate methods to augment clinical datasets to allow for more rigorous testing and to facilitate fine-tuning. We envisage that the dataset, models, and results of this task will be useful to the biomedical NLI and evidence retrieval communities. The dataset, competition leaderboard, and website are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI