Rapid Biomedical Research Classification: The Pandemic PACT Advanced Categorisation Engine

要約

このペーパーでは、Pandemic PACT Advanced Categorization Engine (PPACE) とその関連データセットを紹介します。
PPACE は、WHO と連携した研究の優先順位に従って、資金提供を受けた生物医学プロジェクトからの研究要約を自動的に分類するために開発された微調整されたモデルです。
このタスクは、研究動向を監視し、世界的な健康への備えと対応におけるギャップを特定するために重要です。
私たちのアプローチは、人間が注釈を付けたプロジェクトに基づいており、事前定義されたリストから 1 つ以上のカテゴリが割り当てられます。
次に、大規模な言語モデルを使用して、これらの注釈の背後にある理由を説明する「理論的根拠」が生成されます。
専門家の注釈と理論的根拠で構成されるこの拡張データは、その後、より小規模で効率的なモデルを微調整するために使用されます。
パンデミック PACT プロジェクトの一環として開発された PPACE は、大発生の可能性がある幅広い疾患に対する研究資金と臨床証拠を追跡および分析することを目的としており、研究資金提供者、政策立案者、および独立した研究者による十分な情報に基づいた意思決定をサポートします。
トレーニングされたモデルとそのトレーニングに使用される命令ベースのデータセットの両方を導入およびリリースします。
私たちの評価では、PPACE がベースラインを大幅に上回るパフォーマンスを示しています。
PPACE とそれに関連するデータセットのリリースは、マルチラベル生物医学文書分類の研究者に貴重なリソースを提供し、生物医学研究を世界的な健康上の重要な優先事項と連携させる進歩をサポートします。

要約(オリジナル)

This paper introduces the Pandemic PACT Advanced Categorisation Engine (PPACE) along with its associated dataset. PPACE is a fine-tuned model developed to automatically classify research abstracts from funded biomedical projects according to WHO-aligned research priorities. This task is crucial for monitoring research trends and identifying gaps in global health preparedness and response. Our approach builds on human-annotated projects, which are allocated one or more categories from a predefined list. A large language model is then used to generate `rationales’ explaining the reasoning behind these annotations. This augmented data, comprising expert annotations and rationales, is subsequently used to fine-tune a smaller, more efficient model. Developed as part of the Pandemic PACT project, which aims to track and analyse research funding and clinical evidence for a wide range of diseases with outbreak potential, PPACE supports informed decision-making by research funders, policymakers, and independent researchers. We introduce and release both the trained model and the instruction-based dataset used for its training. Our evaluation shows that PPACE significantly outperforms its baselines. The release of PPACE and its associated dataset offers valuable resources for researchers in multilabel biomedical document classification and supports advancements in aligning biomedical research with key global health priorities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google