要約
タイトル: BrainNPT: 脳ネットワーク分類のためのTransformerネットワークの事前学習
要約:
– 脳画像解析において深層学習は急速に進展しているが、限られたラベル付きデータによって制限される場合がある。
– 未ラベルデータで事前に学習されたモデルは、自然言語処理やコンピュータビジョンなどの多くの領域で特徴学習において有望な改善を示しているが、脳ネットワーク分析においては未探索である。
– 本研究では、Transformerネットワークの事前学習法に焦点を当て、存在する未ラベルデータを活用して脳機能ネットワークの分類に対して改善する方法を提案した。
– まず、脳機能ネットワーク分類のためのTransformerベースのニューラルネットワークであるBrainNPTを提案した。提案手法はTransformerモデルの分類埋め込みベクトルとして
– 第二に、BrainNPTモデルに対して、未ラベルの脳ネットワークデータを活用して脳ネットワークの構造情報を学習するために2つの事前学習戦略を提案した。
– 分類実験の結果、事前学習を行わないBrainNPTモデルは最新モデルと同等の性能を発揮したが、事前学習を行ったBrainNPTモデルは最新モデルより強力な性能を示した。事前学習によって、精度が8.75%改善された。
– また、事前学習戦略を比較し、モデルのパラメータの影響を分析し、調整後のモデルを解釈した。
要約(オリジナル)
Deep learning methods have advanced quickly in brain imaging analysis over the past few years, but they are usually restricted by the limited labeled data. Pre-trained model on unlabeled data has presented promising improvement in feature learning in many domains, including natural language processing and computer vision. However, this technique is under-explored in brain network analysis. In this paper, we focused on pre-training methods with Transformer networks to leverage existing unlabeled data for brain functional network classification. First, we proposed a Transformer-based neural network, named as BrainNPT, for brain functional network classification. The proposed method leveraged
arxiv情報
著者 | Jinlong Hu,Yangmin Huang,Nan Wang,Shoubin Dong |
発行日 | 2023-05-04 07:19:05+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI