H2G2-Net: A Hierarchical Heterogeneous Graph Generative Network Framework for Discovery of Multi-Modal Physiological Responses

要約

マルチモーダル生理学的信号を使用して人間の認知状態と感情状態を発見することは、さまざまな研究用途で注目を集めています。
人体の生理学的反応は人間の認知の影響を受け、認知状態の分析に一般的に使用されます。
ネットワーク科学の観点から見ると、グラフ構造におけるこれらの異種生理学的モダリティの相互作用は、認知状態の予測をサポートする洞察に富んだ情報を提供する可能性があります。
しかし、異種モダリティ間の正確な接続性を導き出す手掛かりはなく、サブモダリティの階層構造が存在します。
既存のグラフ ニューラル ネットワークは、事前定義されたグラフ構造を備えた非階層的な同種のグラフを学習するように設計されています。
彼らは、事前に定義されたグラフ構造がなければ、階層的でマルチモーダルな生理学的データから学習することができませんでした。
この目的を達成するために、我々は、ドメイン知識なしでグラフ構造を自動的に学習する階層的異種グラフ生成ネットワーク (H2G2-Net) と、エンドツーエンド方式での階層的異種グラフ上の強力な表現を提案します。
マルチモーダル生理学的信号から構成される CogPilot データセット上で提案された方法を検証します。
広範な実験により、私たちが提案した方法が予測精度において最先端の GNN よりも 5% ～ 20% 優れていることが実証されました。

要約(オリジナル)

Discovering human cognitive and emotional states using multi-modal physiological signals draws attention across various research applications. Physiological responses of the human body are influenced by human cognition and commonly used to analyze cognitive states. From a network science perspective, the interactions of these heterogeneous physiological modalities in a graph structure may provide insightful information to support prediction of cognitive states. However, there is no clue to derive exact connectivity between heterogeneous modalities and there exists a hierarchical structure of sub-modalities. Existing graph neural networks are designed to learn on non-hierarchical homogeneous graphs with pre-defined graph structures; they failed to learn from hierarchical, multi-modal physiological data without a pre-defined graph structure. To this end, we propose a hierarchical heterogeneous graph generative network (H2G2-Net) that automatically learns a graph structure without domain knowledge, as well as a powerful representation on the hierarchical heterogeneous graph in an end-to-end fashion. We validate the proposed method on the CogPilot dataset that consists of multi-modal physiological signals. Extensive experiments demonstrate that our proposed method outperforms the state-of-the-art GNNs by 5%-20% in prediction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google