The Need for Guardrails with Large Language Models in Medical Safety-Critical Settings: An Artificial Intelligence Application in the Pharmacovigilance Ecosystem

要約

大規模言語モデル (LLM) は、特定の種類の知識作業を効果的な規模で実行できる便利なツールです。
ただし、リスクが高く安全性が重要な領域での LLM の導入は、特有の課題、特に LLM が捏造された情報を生成する可能性がある「幻覚」の問題を引き起こします。
これは、不正確さが患者に損害を与える可能性がある医薬品の安全性などの現場では特に懸念されます。
これらのリスクを軽減するために、当社は、医薬品の安全性のために特定の種類の幻覚やエラーを軽減するように特別に設計されたガードレールの概念実証スイートを開発し、実証しました。これは、他の医療安全が重要な状況にも適用できる可能性があります。
これらのガードレールには、異常な文書を検出して不適切なデータの取り込みを防止し、誤った薬剤名や有害事象用語を特定し、生成されたコンテンツの不確実性を伝えるメカニズムが含まれています。
これらのガードレールを、有害事象レポート内の構造化データと非構造化データの両方を自然言語に変換するテキストツーテキスト タスク用に微調整された LLM と統合しました。
この方法は、個々の症例の安全性レポートの翻訳に適用され、ファーマコビジランス処理タスクにおける効果的な適用を実証しました。
当社のガードレール フレームワークは、さまざまなドメインに幅広く適用できる一連のツールを提供し、誤ったファーマコビジランス関連用語の生成などの重要なエラーの発生を排除することで、高リスクの状況でも LLM を安全に使用できるようにし、厳格な規制や規制を順守します。
医療安全が重要な環境における品質基準。

要約(オリジナル)

Large language models (LLMs) are useful tools with the capacity for performing specific types of knowledge work at an effective scale. However, LLM deployments in high-risk and safety-critical domains pose unique challenges, notably the issue of “hallucination,” where LLMs can generate fabricated information. This is particularly concerning in settings such as drug safety, where inaccuracies could lead to patient harm. To mitigate these risks, we have developed and demonstrated a proof of concept suite of guardrails specifically designed to mitigate certain types of hallucinations and errors for drug safety, and potentially applicable to other medical safety-critical contexts. These guardrails include mechanisms to detect anomalous documents to prevent the ingestion of inappropriate data, identify incorrect drug names or adverse event terms, and convey uncertainty in generated content. We integrated these guardrails with an LLM fine-tuned for a text-to-text task, which involves converting both structured and unstructured data within adverse event reports into natural language. This method was applied to translate individual case safety reports, demonstrating effective application in a pharmacovigilance processing task. Our guardrail framework offers a set of tools with broad applicability across various domains, ensuring LLMs can be safely used in high-risk situations by eliminating the occurrence of key errors, including the generation of incorrect pharmacovigilance-related terms, thus adhering to stringent regulatory and quality standards in medical safety-critical environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google