Time Series Diffusion in the Frequency Domain

要約

フーリエ解析は信号処理の開発に役立つツールです。
このことから、このフレームワークが生成モデリングにも同様にメリットをもたらすのではないかと疑問に思うようになりました。
この論文では、時系列拡散モデルの範囲を通じてこの疑問を探ります。
より具体的には、周波数領域で時系列を表すことがスコアベースの拡散モデルにとって有用な誘導バイアスであるかどうかを分析します。
時間領域における拡散の標準的な SDE 定式化から始めることにより、重要なニュアンスを伴う二重拡散プロセスが周波数領域で発生することを示します。ブラウン運動は、成分間の鏡像対称性を特徴とする、いわゆるミラーブラウン運動に置き換えられます。
。
この洞察に基づいて、ノイズ除去スコア マッチング アプローチを適応させて周波数領域で拡散モデルを実装する方法を示します。
これにより、周波数拡散モデルが得られ、これを標準時間拡散モデルと比較します。
ヘルスケアや金融などのさまざまな領域をカバーする実世界のデータセットに対する経験的評価では、周波数拡散モデルの方が時間拡散モデルよりもトレーニング分布をより適切に捕捉できることが示されています。
この観測結果は、これらのデータセットからの時系列が時間領域よりも周波数領域でより局所化される傾向があり、前者の場合のモデル化が容易になることを示すことで説明されます。
私たちの観察はすべて、フーリエ解析と拡散モデルの間の影響力のある相乗効果を示しています。

要約(オリジナル)

Fourier analysis has been an instrumental tool in the development of signal processing. This leads us to wonder whether this framework could similarly benefit generative modelling. In this paper, we explore this question through the scope of time series diffusion models. More specifically, we analyze whether representing time series in the frequency domain is a useful inductive bias for score-based diffusion models. By starting from the canonical SDE formulation of diffusion in the time domain, we show that a dual diffusion process occurs in the frequency domain with an important nuance: Brownian motions are replaced by what we call mirrored Brownian motions, characterized by mirror symmetries among their components. Building on this insight, we show how to adapt the denoising score matching approach to implement diffusion models in the frequency domain. This results in frequency diffusion models, which we compare to canonical time diffusion models. Our empirical evaluation on real-world datasets, covering various domains like healthcare and finance, shows that frequency diffusion models better capture the training distribution than time diffusion models. We explain this observation by showing that time series from these datasets tend to be more localized in the frequency domain than in the time domain, which makes them easier to model in the former case. All our observations point towards impactful synergies between Fourier analysis and diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google