Hallucination, reliability, and the role of generative AI in science

要約

生成AIは、タンパク質の折り畳みから気候モデリングまで、科学的領域でますます使用されています。
しかし、これらのモデルは、幻覚として知られる特徴的な誤差を生成します。これは、間違っているが表面的にもっともらしい出力です。
さらに悪いことに、いくつかの議論は、幻覚が生成的推論の根底にあるメカニズムの必然的な結果であることを示唆しています。
幸いなことに、そのような議論は、経験的ターゲットシステムに関してではなく、モデルの内部特性に関してのみ定義された幻覚の概念に依存しています。
この概念は、認識論的に良性のエラーを科学的推論を脅かすものと区別することができません。
腐食性の幻覚の概念を紹介して、認識論的に厄介なサブクラスを捉えています。これは、系統的な予想に実質的に誤解を招き、抵抗性のある不実表示です。
腐食性の幻覚は科学的信頼性に脅威をもたらしますが、避けられないと主張します。
どちらもケーススタディとして機能するAlphafoldやGencastを取り巻く科学的ワークフローは、トレーニング中に理論的制約を課し、推論時にエラーを戦略的にスクリーニングすることにより、その効果を中和することができます。
このようなワークフローに埋め込まれた場合、生成的AIは科学的知識に確実に貢献できます。

要約(オリジナル)

Generative AI is increasingly used in scientific domains, from protein folding to climate modeling. But these models produce distinctive errors known as hallucinations – outputs that are incorrect yet superficially plausible. Worse, some arguments suggest that hallucinations are an inevitable consequence of the mechanisms underlying generative inference. Fortunately, such arguments rely on a conception of hallucination defined solely with respect to internal properties of the model, rather than in reference to the empirical target system. This conception fails to distinguish epistemically benign errors from those that threaten scientific inference. I introduce the concept of corrosive hallucination to capture the epistemically troubling subclass: misrepresentations that are substantively misleading and resistant to systematic anticipation. I argue that although corrosive hallucinations do pose a threat to scientific reliability, they are not inevitable. Scientific workflows such as those surrounding AlphaFold and GenCast, both of which serve as case studies, can neutralize their effects by imposing theoretical constraints during training, and by strategically screening for errors at inference time. When embedded in such workflows, generative AI can reliably contribute to scientific knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google