要約
fMRI脳記録から自然動画を再構成することは非常に困難である．(i) fMRIデータの取得が困難なため，教師付きサンプルは限られており，自然動画の巨大空間をカバーするには十分でない， (ii) fMRI記録の時間分解能は自然動画のフレームレートよりはるかに低い，という二つの主因によるものである．本論文では，自然動画像の再構成のための自己教師付きアプローチを提案する．自然動画のEncode-Decodingにサイクル整合性を採用することで、我々は以下のことが可能となる。(1)学習用映像のフレームレートをフルに活用し、fMRI録画に対応するクリップのみに限定されない。(2)fMRI装置内で被験者が見ることのない大量の外部自然映像を活用する。これにより、適用可能な訓練データを数桁増加させ、デコーディングネットワークに自然映像の事前分布を導入し、時間的な一貫性を持たせることができる。本アプローチは、限られた教師ありデータのみで学習するため、競合手法を大幅に凌駕する。さらに、自然映像の時間的事前分布を新たに導入し、fMRIデコーダに組み込むことで、元のfMRIサンプルレートの最大8倍の高フレームレート（HFR）で映像を再構成することが可能となる。
要約(オリジナル)
Reconstructing natural videos from fMRI brain recordings is very challenging, for two main reasons: (i) As fMRI data acquisition is difficult, we only have a limited amount of supervised samples, which is not enough to cover the huge space of natural videos; and (ii) The temporal resolution of fMRI recordings is much lower than the frame rate of natural videos. In this paper, we propose a self-supervised approach for natural-movie reconstruction. By employing cycle-consistency over Encoding-Decoding natural videos, we can: (i) exploit the full framerate of the training videos, and not be limited only to clips that correspond to fMRI recordings; (ii) exploit massive amounts of external natural videos which the subjects never saw inside the fMRI machine. These enable increasing the applicable training data by several orders of magnitude, introducing natural video priors to the decoding network, as well as temporal coherence. Our approach significantly outperforms competing methods, since those train only on the limited supervised data. We further introduce a new and simple temporal prior of natural videos, which – when folded into our fMRI decoder further – allows us to reconstruct videos at a higher frame-rate (HFR) of up to x8 of the original fMRI sample rate.
arxiv情報
| 著者 | Ganit Kupershmidt,Roman Beliy,Guy Gaziv,Michal Irani |
| 発行日 | 2022-06-09 01:16:19+00:00 |
| arxivサイト | arxiv_id(pdf) |