Diffusion Random Feature Model

要約

拡散確率モデルは、ノイズからデータを生成するためにうまく使用されています。
しかし、ほとんどの拡散モデルは計算コストが高く、理論的根拠が欠如しているため解釈が困難です。
一方、ランダム特徴モデルは、その解釈可能性により人気が高まっていますが、複雑な機械学習タスクへの適用は依然として限られています。
この研究では、解釈可能であり、同じ数の訓練可能なパラメータを持つ完全に接続されたニューラル ネットワークと同等の数値結果を与える、拡散モデルにヒントを得た深いランダム特徴モデルを提示します。
具体的には、ランダム特徴の既存の結果を拡張し、スコア マッチングのプロパティを使用して、サンプリングされたデータの分布と真の分布の間の一般化境界を導出します。
ファッション MNIST データセットとインストゥルメンタル オーディオ データのサンプルを生成することで、調査結果を検証します。

要約(オリジナル)

Diffusion probabilistic models have been successfully used to generate data from noise. However, most diffusion models are computationally expensive and difficult to interpret with a lack of theoretical justification. Random feature models on the other hand have gained popularity due to their interpretability but their application to complex machine learning tasks remains limited. In this work, we present a diffusion model-inspired deep random feature model that is interpretable and gives comparable numerical results to a fully connected neural network having the same number of trainable parameters. Specifically, we extend existing results for random features and derive generalization bounds between the distribution of sampled data and the true distribution using properties of score matching. We validate our findings by generating samples on the fashion MNIST dataset and instrumental audio data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google