Hallucination Detection in LLMs: Fast and Memory-Efficient Fine-Tuned Models

要約

不確実性の推定は、自動運転車、医療、保険などのリスクの高い環境に AI を実装する場合に必要なコンポーネントです。
近年、大規模言語モデル (LLM) の人気が高まっていますが、幻覚を引き起こす可能性があり、リスクの高い環境では重大な害を引き起こす可能性があります。
LLM は成功しているにもかかわらず、トレーニングと実行に費用がかかります。LLM は大量の計算とメモリを必要とするため、実際にはアンサンブル手法を使用できません。
この研究では、LLM アンサンブルの高速かつ記憶に優しいトレーニングを可能にする新しい方法を紹介します。
結果として得られるアンサンブルは幻覚を検出でき、トレーニングと推論に必要な GPU は 1 つだけであるため、実際に実行可能なアプローチであることを示します。

要約(オリジナル)

Uncertainty estimation is a necessary component when implementing AI in high-risk settings, such as autonomous cars, medicine, or insurances. Large Language Models (LLMs) have seen a surge in popularity in recent years, but they are subject to hallucinations, which may cause serious harm in high-risk settings. Despite their success, LLMs are expensive to train and run: they need a large amount of computations and memory, preventing the use of ensembling methods in practice. In this work, we present a novel method that allows for fast and memory-friendly training of LLM ensembles. We show that the resulting ensembles can detect hallucinations and are a viable approach in practice as only one GPU is needed for training and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google