Misinforming LLMs: vulnerabilities, challenges and opportunities

要約

ラージ・ランゲージ・モデル（LLM）は自然言語処理において大きな進歩を遂げたが、その基礎となるメカニズムはしばしば誤解されている。LLMは首尾一貫した回答や見かけの推論動作を示すにもかかわらず、真の認知プロセスではなく、単語埋め込みにおける統計的パターンに依存している。これは「幻覚」や誤情報といった脆弱性につながる。本稿では、現在のLLMアーキテクチャは、単語埋め込みベクトルの逐次パターンの相関に依存しているため、本質的に信頼できないと主張する。しかし、現在進行中の生成変換ベースのモデルをファクトベースや論理プログラミング言語と組み合わせる研究により、与えられた真理に基づいて文を生成し、その自己推論プロセスを説明できる、信頼できるLLMの開発につながる可能性がある。

要約(オリジナル)

Large Language Models (LLMs) have made significant advances in natural language processing, but their underlying mechanisms are often misunderstood. Despite exhibiting coherent answers and apparent reasoning behaviors, LLMs rely on statistical patterns in word embeddings rather than true cognitive processes. This leads to vulnerabilities such as ‘hallucination’ and misinformation. The paper argues that current LLM architectures are inherently untrustworthy due to their reliance on correlations of sequential patterns of word embedding vectors. However, ongoing research into combining generative transformer-based models with fact bases and logic programming languages may lead to the development of trustworthy LLMs capable of generating statements based on given truth and explaining their self-reasoning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL