EEG-Driven 3D Object Reconstruction with Color Consistency and Diffusion Prior

要約

EEG に基づく視覚認識の再構築は、現在の研究の注目の的となっています。
神経科学の研究によると、人間は物体を観察するときに、色、形、質感などのさまざまな種類の視覚情報を知覚できることがわかっています。
しかし、既存の技術手法では、視覚刺激画像と再構成画像の間の質感、形状、色の不一致などの問題に直面することがよくあります。
本稿では、EEG信号に基づいて色の一貫性を保った3Dオブジェクトを再構成する方法を提案します。
この方法では 2 段階の戦略が採用されています。第 1 段階では、3D オブジェクトを認識する機能を備えた暗黙的ニューラル EEG エンコーダーをトレーニングし、地域の意味論的特徴をキャプチャできるようにします。
第 2 段階では、第 1 段階で取得した潜在 EEG コードに基づいて、拡散モデル、ニューラル スタイル損失、NeRF を統合して、3D オブジェクトを暗黙的にデコードします。
最後に、実験的な検証を通じて、EEG を使用して、私たちの方法が色の一貫性を保って 3D オブジェクトを再構成できることを実証します。

要約(オリジナル)

EEG-based visual perception reconstruction has become a current research hotspot. Neuroscientific studies have shown that humans can perceive various types of visual information, such as color, shape, and texture, when observing objects. However, existing technical methods often face issues such as inconsistencies in texture, shape, and color between the visual stimulus images and the reconstructed images. In this paper, we propose a method for reconstructing 3D objects with color consistency based on EEG signals. The method adopts a two-stage strategy: in the first stage, we train an implicit neural EEG encoder with the capability of perceiving 3D objects, enabling it to capture regional semantic features; in the second stage, based on the latent EEG codes obtained in the first stage, we integrate a diffusion model, neural style loss, and NeRF to implicitly decode the 3D objects. Finally, through experimental validation, we demonstrate that our method can reconstruct 3D objects with color consistency using EEG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google