NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial Reports

要約

タイトル：NLI4CT：臨床試験レポートのための多様な証拠を用いた自然言語推論

要約：

– 臨床医療に必要不可欠な情報を含む数十万の臨床試験レポート（CTR）から適切な証拠を手動で探すことは非常に困難である。
– 自然言語推論（NLI）は、テキストとの一致を計算することによって、この問題のスケーラブルな解決方法を提供できる可能性がある。
– しかし、既存のNLIモデルは、生物医学の文書に対して性能が悪く、以前に発表されたデータセットはCTR上の推論の完全な複雑さを捉えることができない。
– 本研究では、CTR上の推論に関するNLIの研究を進めるための新しいリソースを提供する。
– このリソースには、二つのメインタスクが含まれる。一つ目は、自然言語文とCTRの間の推論関係を決定すること。二つ目は、予測された関係を正当化する支援事実を回収すること。
– 2400の文とCTRで構成されるNLI4CTコーパスが提供され、これらのタスクのために注釈が付けられた。
– このコーパスに対するベースライン実験の限界を露呈するベースラインは、最大F1スコアが0.627に設定される6つの最新のNLIモデルであった。
– 分析によると、本件はCTR全体の解釈をカバーする最初のタスクの設計である。
– この挑戦的なデータセットについての発展的な研究を促進するために、コーパス、競技場のリーダーボード、ウェブサイト、およびベースライン実験を複製するためのコードが次の場所に提供されている:https://github.com/ai-systems/nli4ct 。

要約(オリジナル)

How can we interpret and retrieve medical evidence to support clinical decisions? Clinical trial reports (CTR) amassed over the years contain indispensable information for the development of personalized medicine. However, it is practically infeasible to manually inspect over 400,000+ clinical trial reports in order to find the best evidence for experimental treatments. Natural Language Inference (NLI) offers a potential solution to this problem, by allowing the scalable computation of textual entailment. However, existing NLI models perform poorly on biomedical corpora, and previously published datasets fail to capture the full complexity of inference over CTRs. In this work, we present a novel resource to advance research on NLI for reasoning on CTRs. The resource includes two main tasks. Firstly, to determine the inference relation between a natural language statement, and a CTR. Secondly, to retrieve supporting facts to justify the predicted relation. We provide NLI4CT, a corpus of 2400 statements and CTRs, annotated for these tasks. Baselines on this corpus expose the limitations of existing NLI models, with 6 state-of-the-art NLI models achieving a maximum F1 score of 0.627. To the best of our knowledge, we are the first to design a task that covers the interpretation of full CTRs. To encourage further work on this challenging dataset, we make the corpus, competition leaderboard, website and code to replicate the baseline experiments available at: https://github.com/ai-systems/nli4ct

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI