Reconstructing Spatiotemporal Data with C-VAEs

要約

時空間データの連続表現は、通常、時間の経過とともに形状や位置が継続的に変化するエンティティを表すために、 \textit{移動領域} などの抽象データ型の使用に依存します。
実世界のエンティティの個別のスナップショットからこの表現を作成するには、補間手法を使用して中間のデータ表現を計算し、任意の時間点での対象オブジェクトの位置と形状を推定する必要があります。
既存の領域補間方法では、領域の進化の滑らかで現実的な表現を生成できないことがよくあります。
ただし、深層学習技術の最近の進歩により、離散観測に基づいてトレーニングされた深層モデルが、暗黙的な特徴学習を通じて時空間依存関係を捕捉できる可能性が明らかになりました。
この研究では、移動領域の時空間進化の滑らかで現実的な表現を生成する条件付き変分オートエンコーダー (C-VAE) モデルの機能を調査します。
森林火災の焼けた地域に関するまばらに注釈が付けられたデータセットに対して提案されたアプローチを評価します。
データセットからのサンプリングに圧縮操作を適用し、C-VAE モデルやその他の一般的に使用される補間アルゴリズムを使用して中間領域表現を生成します。
メソッドのパフォーマンスを評価するために、その内挿結果を手動で注釈が付けられたデータおよび U-Net モデルによって生成された領域と比較します。
また、時間的一貫性の指標を考慮して、生成されたデータの品質も評価します。
提案された C-VAE ベースのアプローチは、幾何学的類似性メトリックにおいて競合する結果を示しています。
また、優れた時間的一貫性も示しており、C-VAE モデルが 2D 移動領域の時空間進化をモデル化するための実行可能な代替手段である可能性があることを示唆しています。

要約(オリジナル)

The continuous representation of spatiotemporal data commonly relies on using abstract data types, such as \textit{moving regions}, to represent entities whose shape and position continuously change over time. Creating this representation from discrete snapshots of real-world entities requires using interpolation methods to compute in-between data representations and estimate the position and shape of the object of interest at arbitrary temporal points. Existing region interpolation methods often fail to generate smooth and realistic representations of a region’s evolution. However, recent advancements in deep learning techniques have revealed the potential of deep models trained on discrete observations to capture spatiotemporal dependencies through implicit feature learning. In this work, we explore the capabilities of Conditional Variational Autoencoder (C-VAE) models to generate smooth and realistic representations of the spatiotemporal evolution of moving regions. We evaluate our proposed approach on a sparsely annotated dataset on the burnt area of a forest fire. We apply compression operations to sample from the dataset and use the C-VAE model and other commonly used interpolation algorithms to generate in-between region representations. To evaluate the performance of the methods, we compare their interpolation results with manually annotated data and regions generated by a U-Net model. We also assess the quality of generated data considering temporal consistency metrics. The proposed C-VAE-based approach demonstrates competitive results in geometric similarity metrics. It also exhibits superior temporal consistency, suggesting that C-VAE models may be a viable alternative to modelling the spatiotemporal evolution of 2D moving regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google