COGNET-MD, an evaluation framework and dataset for Large Language Model benchmarks in the medical domain

要約

Large Language Model (LLM) は、急速に進化している画期的な最先端の人工知能 (AI) テクノロジーであり、より高度で複雑な実装で医師を支援したり、医師のワークフローをシミュレートしたりすることで、医療診断を支援することが期待されています。
この技術文書では、医療領域における LLM 評価の新しいベンチマークを構成する医療領域向け認知ネットワーク評価ツールキット (COGNET-MD) について概説します。
具体的には、医療テキストを解釈する際のLLMの能力を評価するための難易度を高めたスコアリングフレームワークを提案します。
提案されたフレームワークには、多肢選択クイズ (MCQ) のデータベースが付属しています。
現在の医療動向との整合性を確保し、安全性、有用性、適用性を高めるために、これらの MCQ はさまざまな医療分野の関連する医療専門家数名と協力して構築されており、さまざまな難易度を特徴としています。
データベースの現在の (最初の) バージョンには、精神科、歯学、呼吸器科、皮膚科、内分泌学の医療領域が含まれていますが、追加の医療領域を含めるために継続的に拡張および拡張される予定です。

要約(オリジナル)

Large Language Models (LLMs) constitute a breakthrough state-of-the-art Artificial Intelligence (AI) technology which is rapidly evolving and promises to aid in medical diagnosis either by assisting doctors or by simulating a doctor’s workflow in more advanced and complex implementations. In this technical paper, we outline Cognitive Network Evaluation Toolkit for Medical Domains (COGNET-MD), which constitutes a novel benchmark for LLM evaluation in the medical domain. Specifically, we propose a scoring-framework with increased difficulty to assess the ability of LLMs in interpreting medical text. The proposed framework is accompanied with a database of Multiple Choice Quizzes (MCQs). To ensure alignment with current medical trends and enhance safety, usefulness, and applicability, these MCQs have been constructed in collaboration with several associated medical experts in various medical domains and are characterized by varying degrees of difficulty. The current (first) version of the database includes the medical domains of Psychiatry, Dentistry, Pulmonology, Dermatology and Endocrinology, but it will be continuously extended and expanded to include additional medical domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google