SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

要約

本稿では、臨床試験データに対する自然言語推論（NLI）タスクとエビデンス選択タスクの2タスクからなるSemEval 2023タスク7 — Multi-Evidence Natural Language Inference for Clinical Trial Data（NLI4CT）–の結果について述べる。提案された課題は、個別化されたエビデンスに基づくケアを提供するために、医療エビデンスの大規模な解釈と検索が可能なシステムの開発にとって重要な意味を持つ、マルチホップ生物医学的推論と数値推論を必要とするものである。 タスク1である包含タスクには40名の参加者から643件の応募があり、タスク2であるエビデンス選択タスクには23名の参加者から364件の応募がありました。タスクは難易度が高く、提出されたシステムの大半は、エンタイルメントタスクで多数決クラスのベースラインを有意に上回ることができず、エビデンス選択タスクではエンタイルメントタスクよりも有意に優れたパフォーマンスが観察されました。モデルパラメータの数を増やすと、性能が直接的に向上し、生物医学的な事前トレーニングの効果よりもはるかに大きくなる。将来的には、汎化や数値推論における大規模モデルの限界を探り、より厳密なテストを可能にし、微調整を容易にするために、臨床データセットを増強する方法を研究することができる。 このタスクのデータセット、モデル、結果は、バイオメディカルNLIと証拠検索のコミュニティにとって有用であることを想定している。データセット、コンペティションのリーダーボード、ウェブサイトは一般に公開されています。

要約(オリジナル)

This paper describes the results of SemEval 2023 task 7 — Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT) — consisting of 2 tasks, a Natural Language Inference (NLI) task, and an evidence selection task on clinical trial data. The proposed challenges require multi-hop biomedical and numerical reasoning, which are of significant importance to the development of systems capable of large-scale interpretation and retrieval of medical evidence, to provide personalized evidence-based care. Task 1, the entailment task, received 643 submissions from 40 participants, and Task 2, the evidence selection task, received 364 submissions from 23 participants. The tasks are challenging, with the majority of submitted systems failing to significantly outperform the majority class baseline on the entailment task, and we observe significantly better performance on the evidence selection task than on the entailment task. Increasing the number of model parameters leads to a direct increase in performance, far more significant than the effect of biomedical pre-training. Future works could explore the limitations of large models for generalization and numerical inference, and investigate methods to augment clinical datasets to allow for more rigorous testing and to facilitate fine-tuning. We envisage that the dataset, models, and results of this task will be useful to the biomedical NLI and evidence retrieval communities. The dataset, competition leaderboard, and website are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL