MedSafetyBench: Evaluating and Improving the Medical Safety of Large Language Models

要約

大規模言語モデル (LLM) がますます高度な機能を開発し、医療現場での応用が見出されるようになるにつれ、個人および公衆の健康、患者の安全、人権に広範な影響を与えるため、その医療安全を評価することが重要になってきます。
しかし、LLM の文脈における医療安全の概念はほとんど理解されておらず、ましてやそれを評価し改善する方法は言うまでもありません。
このギャップに対処するために、私たちはまず、米国医師会が定めた医療倫理原則に基づいて、LLM における医療安全の概念を定義します。
次に、この理解を活用して、LLM の医療安全性を測定するために特別に設計された初のベンチマーク データセットである MedSafetyBench を紹介します。
MedSafetyBench を使用して LLM の医療安全性を評価および改善することにより、その有用性を実証します。
私たちの結果は、公的に入手可能な医療用 LLM が医療安全の基準を満たしておらず、MedSafetyBench を使用して LLM を微調整することで医療安全が向上することを示しています。
この新しいベンチマーク データセットを導入することで、私たちの研究により、LLM の医療安全の状態を体系的に研究することが可能になり、この分野での今後の研究の動機付けとなり、それによって医療における LLM の安全性リスクが軽減されます。

要約(オリジナル)

As large language models (LLMs) develop increasingly sophisticated capabilities and find applications in medical settings, it becomes important to assess their medical safety due to their far-reaching implications for personal and public health, patient safety, and human rights. However, there is little to no understanding of the notion of medical safety in the context of LLMs, let alone how to evaluate and improve it. To address this gap, we first define the notion of medical safety in LLMs based on the Principles of Medical Ethics set forth by the American Medical Association. We then leverage this understanding to introduce MedSafetyBench, the first benchmark dataset specifically designed to measure the medical safety of LLMs. We demonstrate the utility of MedSafetyBench by using it to evaluate and improve the medical safety of LLMs. Our results show that publicly-available medical LLMs do not meet standards of medical safety and that fine-tuning them using MedSafetyBench improves their medical safety. By introducing this new benchmark dataset, our work enables a systematic study of the state of medical safety in LLMs and motivates future work in this area, thereby mitigating the safety risks of LLMs in medicine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google