ELEVATE-GenAI: Reporting Guidelines for the Use of Large Language Models in Health Economics and Outcomes Research: an ISPOR Working Group on Generative AI Report

要約

はじめに：生成人工知能（AI）、特に大規模な言語モデル（LLM）は、健康経済学と結果研究（HEOR）に大きな約束を抱いています。
ただし、LLM支援研究の標準化された報告ガイダンスは不​​足しています。
この記事では、LLMSを含むHEOR研究用に特別に設計された、Elevate Genaiフレームワークとチェックリスト – レポートガイドラインを紹介します。
方法：フレームワークは、既存のレポートガイドライン、AI評価フレームワーク、および生成AIのISPORワーキンググループからの専門家の入力に関するターゲット文献レビューを通じて開発されました。
モデルの特性、精度、再現性、公平性とバイアスを含む10のドメインで構成されています。
添付のチェックリストは、フレームワークを実用的なレポート項目に変換します。
その使用を説明するために、フレームワークは、系統的文献レビュータスクに焦点を当てた2つの公開されたHEOR研究に適用されました。もう1つは経済モデリングに焦点を当てています。
結果：Elevate Genaiフレームワークは、LLM支援HEOR研究を報告するための包括的な構造を提供しますが、チェックリストは実用的な実装を容易にします。
2つのケーススタディへの適用は、異なるHEORコンテキストにわたるその関連性と使いやすさを示しています。
制限：フレームワークは堅牢な報告ガイダンスを提供しますが、その有効性、完全性、使いやすさ、および多様なHEORユースケース全体の一般化可能性を評価するには、さらなる経験的テストが必要です。
結論：Elevate Genaiフレームワークとチェックリストは、LLM支援HEOR研究の透明で正確で再現可能な報告のための構造化されたガイダンスを提供することにより、重大なギャップに対処します。
将来の作業は、より広範な採用と改良をサポートするための広範なテストと検証に焦点を当てます。

要約(オリジナル)

Introduction: Generative artificial intelligence (AI), particularly large language models (LLMs), holds significant promise for Health Economics and Outcomes Research (HEOR). However, standardized reporting guidance for LLM-assisted research is lacking. This article introduces the ELEVATE GenAI framework and checklist – reporting guidelines specifically designed for HEOR studies involving LLMs. Methods: The framework was developed through a targeted literature review of existing reporting guidelines, AI evaluation frameworks, and expert input from the ISPOR Working Group on Generative AI. It comprises ten domains, including model characteristics, accuracy, reproducibility, and fairness and bias. The accompanying checklist translates the framework into actionable reporting items. To illustrate its use, the framework was applied to two published HEOR studies: one focused on systematic literature review tasks and the other on economic modeling. Results: The ELEVATE GenAI framework offers a comprehensive structure for reporting LLM-assisted HEOR research, while the checklist facilitates practical implementation. Its application to the two case studies demonstrates its relevance and usability across different HEOR contexts. Limitations: Although the framework provides robust reporting guidance, further empirical testing is needed to assess its validity, completeness, usability, as well as its generalizability across diverse HEOR use cases. Conclusion: The ELEVATE GenAI framework and checklist address a critical gap by offering structured guidance for transparent, accurate, and reproducible reporting of LLM-assisted HEOR research. Future work will focus on extensive testing and validation to support broader adoption and refinement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google