Towards Understanding Text Hallucination of Diffusion Models via Local Generation Bias

要約

スコアベースの拡散モデルは、現実的な画像、オーディオ、ビデオデータを生成する際に信じられないほどのパフォーマンスを達成しました。
これらのモデルは、印象的な詳細を備えた高品質のサンプルを生成しますが、歪んだ指や意味のない幻覚テキストなど、非現実的なアーティファクトを導入することがよくあります。
このペーパーでは、拡散モデルが個々のシンボルを正しく生成しますが、無意味な方法でそれらを組み立てるテキストの幻覚に焦点を当てています。
実験的な調査を通じて、そのような現象はそれがネットワークのローカルジェネレーションバイアスに起因することを一貫して観察します。
ネットワークの除去は、特にデータ分布の異なる寸法がほぼペアワイズ独立している場合、高度に相関するローカル領域に大きく依存する出力を生成する傾向があります。
この動作は、グローバルな分布を各シンボルの個別の独立した分布に分解する生成プロセスにつながり、最終的には基礎となる文法を含むグローバル構造をキャプチャできません。
興味深いことに、このバイアスは、Global依存関係をモデル化する構造を持つMLPや変圧器など、さまざまな除去ネットワークアーキテクチャ全体で持続します。
これらの調査結果は、除去モデルの暗黙のバイアスの結果として、テキストを超えて広がる他のタイプの幻覚を理解することに関する洞察を提供します。
さらに、ハイパーキューブ上の2層MLP学習パリティポイントを含む特定のケースのトレーニングダイナミクスを理論的に分析し、基礎となるメカニズムの説明を提供します。

要約(オリジナル)

Score-based diffusion models have achieved incredible performance in generating realistic images, audio, and video data. While these models produce high-quality samples with impressive details, they often introduce unrealistic artifacts, such as distorted fingers or hallucinated texts with no meaning. This paper focuses on textual hallucinations, where diffusion models correctly generate individual symbols but assemble them in a nonsensical manner. Through experimental probing, we consistently observe that such phenomenon is attributed it to the network’s local generation bias. Denoising networks tend to produce outputs that rely heavily on highly correlated local regions, particularly when different dimensions of the data distribution are nearly pairwise independent. This behavior leads to a generation process that decomposes the global distribution into separate, independent distributions for each symbol, ultimately failing to capture the global structure, including underlying grammar. Intriguingly, this bias persists across various denoising network architectures including MLP and transformers which have the structure to model global dependency. These findings also provide insights into understanding other types of hallucinations, extending beyond text, as a result of implicit biases in the denoising models. Additionally, we theoretically analyze the training dynamics for a specific case involving a two-layer MLP learning parity points on a hypercube, offering an explanation of its underlying mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google