Beyond Words: On Large Language Models Actionability in Mission-Critical Risk Analysis

要約

コンテクスト。
リスク分析では、特定のシナリオにおける潜在的なリスクを評価します。
リスク分析の原則にはコンテキストがありません。
同じ方法論は、健康と情報技術のセキュリティに関連するリスクにも適用できます。
リスク分析には国内および国際的な規制と基準に関する広範な知識が必要であり、時間と労力がかかります。
大規模な言語モデルは、人間よりも短い時間で情報を迅速に要約することができ、特定のタスクに合わせて微調整することができます。
標的。
私たちの実証研究は、リスク分析における検索拡張生成と微調整された LLM の有効性を調査することを目的としています。
私たちの知る限り、リスク分析におけるその機能を検討した先行研究はありません。
方法。
私たちは、産業コンテキスト チームが過去 5 年間にアーカイブした 50 を超えるミッションクリティカルな分析から 1,283 の代表的なサンプルにつながる 193 の独自のシナリオを手動で厳選しました。
GPT-3.5 および GPT-4 のベース モデルと、検索拡張生成モデルおよび微調整された対応モデルを比較しました。
私たちは、モデルの競合者として 2 人の人間の専門家を採用し、モデルと元の人間の専門家の分析をレビューするために他の 3 人の人間の専門家を採用します。
査読者は 5,000 件のシナリオ分析を分析しました。
結果と結論。
人間の専門家はより高い精度を実証しましたが、LLM はより迅速で実用的です。
さらに、我々の調査結果は、RAG 支援 LLM は幻覚発生率が最も低く、隠れたリスクを効果的に明らかにし、人間の専門知識を補完することを示しています。
したがって、モデルの選択は特定のニーズに依存し、精度を重視する場合は FTM、隠れたリスクの発見を重視する場合は RAG、包括性と実用性を重視する場合はベース モデルを使用します。
したがって、専門家は、凝縮された時間枠内でリスク分析を効果的に補完するコンパニオンとして LLM を活用できます。
また、不当な対策の実施に伴う不必要な出費を回避してコストを節約することもできます。

要約(オリジナル)

Context. Risk analysis assesses potential risks in specific scenarios. Risk analysis principles are context-less; the same methodology can be applied to a risk connected to health and information technology security. Risk analysis requires a vast knowledge of national and international regulations and standards and is time and effort-intensive. A large language model can quickly summarize information in less time than a human and can be fine-tuned to specific tasks. Aim. Our empirical study aims to investigate the effectiveness of Retrieval-Augmented Generation and fine-tuned LLM in risk analysis. To our knowledge, no prior study has explored its capabilities in risk analysis. Method. We manually curated 193 unique scenarios leading to 1283 representative samples from over 50 mission-critical analyses archived by the industrial context team in the last five years. We compared the base GPT-3.5 and GPT-4 models versus their Retrieval-Augmented Generation and fine-tuned counterparts. We employ two human experts as competitors of the models and three other human experts to review the models and the former human experts’ analysis. The reviewers analyzed 5,000 scenario analyses. Results and Conclusions. Human experts demonstrated higher accuracy, but LLMs are quicker and more actionable. Moreover, our findings show that RAG-assisted LLMs have the lowest hallucination rates, effectively uncovering hidden risks and complementing human expertise. Thus, the choice of model depends on specific needs, with FTMs for accuracy, RAG for hidden risks discovery, and base models for comprehensiveness and actionability. Therefore, experts can leverage LLMs as an effective complementing companion in risk analysis within a condensed timeframe. They can also save costs by averting unnecessary expenses associated with implementing unwarranted countermeasures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google