DiSK: A Diffusion Model for Structured Knowledge

要約

構造化された (辞書のような) データは、書式設定や属性が表示される順序に対する感度など、さまざまな理由で構造化されたエンティティに苦戦する可能性があるため、左から右への言語モデルにとって課題となります。
表形式の生成モデルには、柔軟性の欠如など、さまざまな制限があります。
構造化データに特化した新しいアーキテクチャとトレーニング アプローチである構造化知識の拡散モデル (DiSK) を紹介します。
DiSK は、混合ガウス モデルのアプローチを使用してテキスト、カテゴリ、および連続数値データを処理します。これにより、数値を扱う際の精度が向上します。
拡散トレーニングを使用してプロパティ間の関係をモデル化します。
実験では、多様なドメインにわたる 15 以上のデータセットに対する表形式のデータ モデリング、合成、代入における DiSK の最先端のパフォーマンスを実証しています。
DiSK は、構造化データの生成モデリングと操作に効果的な誘導バイアスを提供します。
私たちが提案する手法は、将来の言語モデルにおける知識操作の改善への扉を開く可能性があります。

要約(オリジナル)

Structured (dictionary-like) data presents challenges for left-to-right language models, as they can struggle with structured entities for a wide variety of reasons such as formatting and sensitivity to the order in which attributes are presented. Tabular generative models suffer from a different set of limitations such as their lack of flexibility. We introduce Diffusion Models of Structured Knowledge (DiSK) – a new architecture and training approach specialized for structured data. DiSK handles text, categorical, and continuous numerical data using a Gaussian mixture model approach, which allows for improved precision when dealing with numbers. It employs diffusion training to model relationships between properties. Experiments demonstrate DiSK’s state-of-the-art performance on tabular data modeling, synthesis, and imputation on over 15 datasets across diverse domains. DiSK provides an effective inductive bias for generative modeling and manipulation of structured data. The techniques we propose could open the door to improved knowledge manipulation in future language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google