SUPRA: Subspace Parameterized Attention for Neural Operator on General Domains

投稿日: 2025年4月23日 作成者: jarxiv

要約

神経演算子は、部分的な微分方程式（PDE）を解くための効率的な代理モデルですが、その重要なコンポーネントは課題に直面しています。（1）注意メカニズムは大規模なメッシュの計算の非効率性に苦しみ、（2）スペクトルの畳み込みは、平地のドメトルに依存しています。
これらの問題に取り組むために、ユークリッド空間のベクトル上の標準的な注意メカニズムにおけるマトリックスベクトル操作を、ベクトル空間の双線形および線形演算子として考慮し、関数空間への注意メカニズムを一般化します。
この新しい注意メカニズムは、標準的な注意と完全に同等ですが、関数空間の無限の次元のために計算することは不可能です。
これに対処するために、モデル削減技術に触発されて、有限次元サブスペース内の注意メカニズムに近似するサブスペースパラメーター化された注意（上位）ニューラル演算子を提案します。
Supraの不規則なドメインにサブスペースを構築するために、Laplacianの固有権を使用して提案します。これは、ドメインのジオメトリに自然に適応し、滑らかな関数の最適な近似を保証します。
実験では、超神経演算子が、最先端の計算効率を維持しながら、さまざまなPDEデータセットでエラー率を最大33％減らすことが示されています。

要約(オリジナル)

Neural operators are efficient surrogate models for solving partial differential equations (PDEs), but their key components face challenges: (1) in order to improve accuracy, attention mechanisms suffer from computational inefficiency on large-scale meshes, and (2) spectral convolutions rely on the Fast Fourier Transform (FFT) on regular grids and assume a flat geometry, which causes accuracy degradation on irregular domains. To tackle these problems, we regard the matrix-vector operations in the standard attention mechanism on vectors in Euclidean space as bilinear forms and linear operators in vector spaces and generalize the attention mechanism to function spaces. This new attention mechanism is fully equivalent to the standard attention but impossible to compute due to the infinite dimensionality of function spaces. To address this, inspired by model reduction techniques, we propose a Subspace Parameterized Attention (SUPRA) neural operator, which approximates the attention mechanism within a finite-dimensional subspace. To construct a subspace on irregular domains for SUPRA, we propose using the Laplacian eigenfunctions, which naturally adapt to domains’ geometry and guarantee the optimal approximation for smooth functions. Experiments show that the SUPRA neural operator reduces error rates by up to 33% on various PDE datasets while maintaining state-of-the-art computational efficiency.

arxiv情報

著者 Zherui Yang,Zhengyang Xue,Ligang Liu
発行日 2025-04-22 13:40:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SUPRA: Subspace Parameterized Attention for Neural Operator on General Domains はコメントを受け付けていません

A Mechanism-Learning Deeply Coupled Model for Remote Sensing Retrieval of Global Land Surface Temperature

投稿日: 2025年4月23日 作成者: jarxiv

要約

リモートセンシングデータからの陸面温度（LST）検索は、気候プロセスと地表エネルギー予算を分析するために極めて重要です。
ただし、LST検索は不適切な逆の問題であり、1つのバンドのみが利用可能な場合に特に深刻になります。
この論文では、シングルチャネルLST検索の精度と一般化を強化するために、機械的モデリングと機械学習を統合する深く結合されたフレームワークを提案します。
トレーニングサンプルは、物理ベースの放射伝達モデルと5810大気プロファイルのグローバルコレクションを使用して生成されます。
物理学に基づいた機械学習フレームワークが、古典的な物理的反転モデルからの最初の原則を学習ワークフローに体系的に組み込むために提案されています。
グローバル検証により、スタンドアロンの方法に対するルート平均平方根誤差が30％減少したことが示されました。
極端な湿度では、平均絶対誤差は4.87 Kから2.29 Kに減少しました（53％の改善）。
5つの大陸にわたる大陸規模のテストにより、このモデルの優れた一般化可能性が確認されました。

要約(オリジナル)

Land surface temperature (LST) retrieval from remote sensing data is pivotal for analyzing climate processes and surface energy budgets. However, LST retrieval is an ill-posed inverse problem, which becomes particularly severe when only a single band is available. In this paper, we propose a deeply coupled framework integrating mechanistic modeling and machine learning to enhance the accuracy and generalizability of single-channel LST retrieval. Training samples are generated using a physically-based radiative transfer model and a global collection of 5810 atmospheric profiles. A physics-informed machine learning framework is proposed to systematically incorporate the first principles from classical physical inversion models into the learning workflow, with optimization constrained by radiative transfer equations. Global validation demonstrated a 30% reduction in root-mean-square error versus standalone methods. Under extreme humidity, the mean absolute error decreased from 4.87 K to 2.29 K (53% improvement). Continental-scale tests across five continents confirmed the superior generalizability of this model.

arxiv情報

著者 Tian Xie,Menghui Jiang,Huanfeng Shen,Huifang Li,Chao Zeng,Jun Ma,Guanhao Zhang,Liangpei Zhang
発行日 2025-04-22 13:51:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | A Mechanism-Learning Deeply Coupled Model for Remote Sensing Retrieval of Global Land Surface Temperature はコメントを受け付けていません

ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion

投稿日: 2025年4月23日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、ノード間の関係情報を効果的にキャプチャすることにより、さまざまなグラフベースのタスクで強力なパフォーマンスを実証しています。
これらのモデルは、ノード機能を伝播するために渡される反復メッセージに依存しており、ノードが隣人から情報を集約できるようにします。
最近の研究により、メッセージ通過メカニズムが大幅に改善され、大規模なグラフのGNNスケーラビリティが向上しています。
ただし、GNNSは依然として2つの主な課題に直面しています。過剰なメッセージの合格は、特に高次の隣人を組み込んだ深いネットワークで区別できないノード表現になります。
従来のアーキテクチャが高モデルの複雑さと、冗長な情報集約による推論時間の増加に悩まされているため、スケーラビリティの問題。
このペーパーでは、マルチレベルのグラフ機能を適応的に融合させることにより、両方の課題に対処する同時に、ScaleGnnという名前の大規模なグラフの新しいフレームワークを提案します。
最初に各注文の近隣マトリックスを構築し、適応性の高い高次特徴融合モジュールを使用して、トレーニング可能なウェイトを通じて相対的な情報を学習します。
これにより、モデルは、不必要な計算コストを削減しながら、有益な高次隣人を選択的に強調することができます。
さらに、ローカル貢献スコア（LCS）に基づいた高次の冗長機能マスキングメカニズムを導入します。これにより、モデルは各順序で最も関連性の高い隣人のみを保持し、冗長な情報伝播を防ぎます。
さらに、低次の強化機能集約は、タスクの関連性に基づいて低次および高次の機能を適応的に統合し、過度の複雑さなしにローカルおよびグローバルな構造情報の両方の効果的なキャプチャを確保します。
実際のデータセットでの広範な実験は、私たちのアプローチが、精度と計算効率の両方で最先端のGNNモデルよりも一貫して優れていることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have demonstrated strong performance across various graph-based tasks by effectively capturing relational information between nodes. These models rely on iterative message passing to propagate node features, enabling nodes to aggregate information from their neighbors. Recent research has significantly improved the message-passing mechanism, enhancing GNN scalability on large-scale graphs. However, GNNs still face two main challenges: over-smoothing, where excessive message passing results in indistinguishable node representations, especially in deep networks incorporating high-order neighbors; and scalability issues, as traditional architectures suffer from high model complexity and increased inference time due to redundant information aggregation. This paper proposes a novel framework for large-scale graphs named ScaleGNN that simultaneously addresses both challenges by adaptively fusing multi-level graph features. We first construct neighbor matrices for each order, learning their relative information through trainable weights through an adaptive high-order feature fusion module. This allows the model to selectively emphasize informative high-order neighbors while reducing unnecessary computational costs. Additionally, we introduce a High-order redundant feature masking mechanism based on a Local Contribution Score (LCS), which enables the model to retain only the most relevant neighbors at each order, preventing redundant information propagation. Furthermore, low-order enhanced feature aggregation adaptively integrates low-order and high-order features based on task relevance, ensuring effective capture of both local and global structural information without excessive complexity. Extensive experiments on real-world datasets demonstrate that our approach consistently outperforms state-of-the-art GNN models in both accuracy and computational efficiency.

arxiv情報

著者 Xiang Li,Haobing Liu,Jianpeng Qi,Yuan Cao,Guoqing Chao,Yanwei Yu
発行日 2025-04-22 14:05:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion はコメントを受け付けていません

StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation

投稿日: 2025年4月23日 作成者: jarxiv

要約

強化学習（RL）は、大規模な言語モデル（LLMS）のコアポストトレーニング技術となっています。
LLMSのRLには、生成とトレーニングの2つの段階が含まれます。
LLMは最初にオンラインでサンプルを生成し、次にトレーニングの報酬を導き出すために使用されます。
従来のビューでは、2つの段階が時間的多重化を介してリソースを共有するコロケートされたアーキテクチャが、各ステージに専用のリソースが割り当てられる分解されたアーキテクチャを上回ると考えています。
ただし、現実世界の展開では、2つの段階が同じリソースを使用するように制約されているリソースカップリングに悩まされていることがわかります。
この結合は、大規模なトレーニングにおけるコロッケートRLのスケーラビリティと費用効率を損ないます。
対照的に、分解されたアーキテクチャは、柔軟なリソースの割り当てを可能にし、異質なトレーニングセットアップをサポートし、外国間展開を促進します。
StreamRLは、最初の原則からの分解で設計されており、既存の分解されたRLフレームワークの2種類のパフォーマンスボトルネックに対処することにより、その可能性を完全にロック解除します。段階依存性によって引き起こされるパイプラインバブルと、長期の出力長分布に起因する歪度バブルです。
パイプラインバブルに対処するために、StreamRLは、ストリーム生成を通じて同期RLアルゴリズムの従来のステージ境界を破壊し、非同期RLで完全に重複します。
歪度の泡に対処するために、StreamRLは出力の長さのランカーモデルを採用して長期尾のサンプルを特定し、歪度を認識した派遣とスケジューリングを介して生成時間を短縮します。
実験は、StreamRLが既存の最先端のシステムと比較して最大2.66倍にスループットを改善し、不均一な異常な劣性設定で最大1.33倍の費用対効果を向上させることを示しています。

要約(オリジナル)

Reinforcement learning (RL) has become the core post-training technique for large language models (LLMs). RL for LLMs involves two stages: generation and training. The LLM first generates samples online, which are then used to derive rewards for training. The conventional view holds that the colocated architecture, where the two stages share resources via temporal multiplexing, outperforms the disaggregated architecture, in which dedicated resources are assigned to each stage. However, in real-world deployments, we observe that the colocated architecture suffers from resource coupling, where the two stages are constrained to use the same resources. This coupling compromises the scalability and cost-efficiency of colocated RL in large-scale training. In contrast, the disaggregated architecture allows for flexible resource allocation, supports heterogeneous training setups, and facilitates cross-datacenter deployment. StreamRL is designed with disaggregation from first principles and fully unlocks its potential by addressing two types of performance bottlenecks in existing disaggregated RL frameworks: pipeline bubbles, caused by stage dependencies, and skewness bubbles, resulting from long-tail output length distributions. To address pipeline bubbles, StreamRL breaks the traditional stage boundary in synchronous RL algorithms through stream generation and achieves full overlapping in asynchronous RL. To address skewness bubbles, StreamRL employs an output-length ranker model to identify long-tail samples and reduces generation time via skewness-aware dispatching and scheduling. Experiments show that StreamRL improves throughput by up to 2.66x compared to existing state-of-the-art systems, and improves cost-effectiveness by up to 1.33x in a heterogeneous, cross-datacenter setting.

arxiv情報

著者 Yinmin Zhong,Zili Zhang,Xiaoniu Song,Hanpeng Hu,Chao Jin,Bingyang Wu,Nuo Chen,Yukun Chen,Yu Zhou,Changyi Wan,Hongyu Zhou,Yimin Jiang,Yibo Zhu,Daxin Jiang
発行日 2025-04-22 14:19:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation はコメントを受け付けていません

Low-Rank Adaptation of Neural Fields

投稿日: 2025年4月23日 作成者: jarxiv

要約

視覚データの処理には、多くの場合、画像フィルタリング、表面の平滑化、ビデオストレージなど、小さな調整または一連の変更が含まれます。
通常のマッピングやビデオ圧縮などの確立されたグラフィック技術は、このような小さな変化を効率的にエンコードするために冗長性を活用しますが、神経フィールド（NF）の小さな変化をエンコードする問題 – 視覚的または物理的機能のニューラルネットワークパラメーター化 – はあまり注目されていません。
低ランク適応（LORA）を使用して、神経フィールドを更新するためのパラメーター効率の高い戦略を提案します。
パラメーター効率の高い微調整LLMコミュニティのメソッドであるLoraは、最小限の計算オーバーヘッドで事前に訓練されたモデルへの小さな更新をエンコードします。
LORAをインスタンス固有のニューラルフィールドに適応させ、低計量ハードウェアに適したパイプラインを生成する大規模な訓練モデルの必要性を回避します。
画像フィルタリング、ビデオ圧縮、ジオメトリの編集での実験でアプローチを検証し、神経フィールドの更新を表すための有効性と汎用性を実証します。

要約(オリジナル)

Processing visual data often involves small adjustments or sequences of changes, such as in image filtering, surface smoothing, and video storage. While established graphics techniques like normal mapping and video compression exploit redundancy to encode such small changes efficiently, the problem of encoding small changes to neural fields (NF) — neural network parameterizations of visual or physical functions — has received less attention. We propose a parameter-efficient strategy for updating neural fields using low-rank adaptations (LoRA). LoRA, a method from the parameter-efficient fine-tuning LLM community, encodes small updates to pre-trained models with minimal computational overhead. We adapt LoRA to instance-specific neural fields, avoiding the need for large pre-trained models yielding a pipeline suitable for low-compute hardware. We validate our approach with experiments in image filtering, video compression, and geometry editing, demonstrating its effectiveness and versatility for representing neural field updates.

arxiv情報

著者 Anh Truong,Ahmed H. Mahmoud,Mina Konaković Luković,Justin Solomon
発行日 2025-04-22 14:21:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GR, cs.LG | Low-Rank Adaptation of Neural Fields はコメントを受け付けていません

Adversarial Observations in Weather Forecasting

投稿日: 2025年4月23日 作成者: jarxiv

要約

GoogleのGencastなどのAIベースのシステムは、最近、天気予報における最先端のアートを再定義し、日常の天気と極端なイベントの両方についてより正確でタイムリーな予測を提供しています。
これらのシステムは、従来の気象方法を置き換える寸前にありますが、予測プロセスに新しい脆弱性も導入します。
この論文では、この脅威を調査し、Gencastで使用されているような自己回帰拡散モデルに対する新しい攻撃を提示し、天気予報を操作し、ハリケーン、熱波、激しい降雨などの極端なイベントを製造することができます。
この攻撃では、天然の騒音と統計的に区別できず、測定値の0.1％未満を変化させる気象観測に微妙な摂動をもたらします。単一の気象衛星からのデータの改ざんに匹敵します。
現代の予測は、ほぼ100の衛星やさまざまな国で運営されている他の多くのソースからのデータを統合するため、私たちの調査結果は、大規模な混乱を引き起こし、気象予測に対する国民の信頼を損なう可能性を備えた重要なセキュリティリスクを強調しています。

要約(オリジナル)

AI-based systems, such as Google’s GenCast, have recently redefined the state of the art in weather forecasting, offering more accurate and timely predictions of both everyday weather and extreme events. While these systems are on the verge of replacing traditional meteorological methods, they also introduce new vulnerabilities into the forecasting process. In this paper, we investigate this threat and present a novel attack on autoregressive diffusion models, such as those used in GenCast, capable of manipulating weather forecasts and fabricating extreme events, including hurricanes, heat waves, and intense rainfall. The attack introduces subtle perturbations into weather observations that are statistically indistinguishable from natural noise and change less than 0.1% of the measurements – comparable to tampering with data from a single meteorological satellite. As modern forecasting integrates data from nearly a hundred satellites and many other sources operated by different countries, our findings highlight a critical security risk with the potential to cause large-scale disruptions and undermine public trust in weather prediction.

arxiv情報

著者 Erik Imgrund,Thorsten Eisenhofer,Konrad Rieck
発行日 2025-04-22 14:38:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Adversarial Observations in Weather Forecasting はコメントを受け付けていません

CVKAN: Complex-Valued Kolmogorov-Arnold Networks

投稿日: 2025年4月23日 作成者: jarxiv

要約

この作業では、複雑なコルモゴロフアーノルドネットワーク（KAN）であるCVKANを提案し、KANの本質的な解釈可能性と複雑な価値ニューラルネットワーク（CVNNS）の利点に参加します。
KANと必要な関連メカニズムを複雑なドメインに転送する方法を示します。
CVKANが期待を満たしていることを確認するために、象徴的な複雑な関数フィッティングと物理的に意味のある式、およびKnot理論からのより現実的なデータセットで実験を実施します。
提案されているCVKANはより安定しており、より少ないパラメーターとより浅いネットワークアーキテクチャを必要としながら、実質的に価値のあるKANよりもPARまたは優れたパフォーマンスを発揮し、説明しやすくします。

要約(オリジナル)

In this work we propose CVKAN, a complex-valued Kolmogorov-Arnold Network (KAN), to join the intrinsic interpretability of KANs and the advantages of Complex-Valued Neural Networks (CVNNs). We show how to transfer a KAN and the necessary associated mechanisms into the complex domain. To confirm that CVKAN meets expectations we conduct experiments on symbolic complex-valued function fitting and physically meaningful formulae as well as on a more realistic dataset from knot theory. Our proposed CVKAN is more stable and performs on par or better than real-valued KANs while requiring less parameters and a shallower network architecture, making it more explainable.

arxiv情報

著者 Matthias Wolff,Florian Eilers,Xiaoyi Jiang
発行日 2025-04-22 15:09:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | CVKAN: Complex-Valued Kolmogorov-Arnold Networks はコメントを受け付けていません

Follow-the-Perturbed-Leader Approaches Best-of-Both-Worlds for the m-Set Semi-Bandit Problems

投稿日: 2025年4月23日 作成者: jarxiv

要約

組み合わせセミバンディット問題の一般的なケースである$ m $ $ -Set Semi-Banditを検討します。ここでは、学習者は合計$ D $アームから$ M $アームを正確に選択します。
敵対的な設定では、$ \ mathcal {o}（\ sqrt {nmd}）$ for time Horizo​​n $ n $であることが知られている最高の後悔の拘束は、よく知られている次の正規化されたリーダー（FTRL）ポリシーによって達成されます。
ただし、これには、各タイムステップで問題を最適化し、それらに従ってサンプルをサンプリングすることにより、アーム選択確率を明示的に計算する必要があります。
この問題は、後回きのあるリーダー（FTPL）ポリシーによって回避できます。
この論文では、FR \ ‘Echet摂動を備えたFTPLは、敵対的な設定で最適な後悔の$ \ mathcal {o}（\ sqrt {nmd \ log（d）}）$を享受し、最良のworld後悔の境界に近づくことも享受していることを示します。

要約(オリジナル)

We consider a common case of the combinatorial semi-bandit problem, the $m$-set semi-bandit, where the learner exactly selects $m$ arms from the total $d$ arms. In the adversarial setting, the best regret bound, known to be $\mathcal{O}(\sqrt{nmd})$ for time horizon $n$, is achieved by the well-known Follow-the-Regularized-Leader (FTRL) policy. However, this requires to explicitly compute the arm-selection probabilities via optimizing problems at each time step and sample according to them. This problem can be avoided by the Follow-the-Perturbed-Leader (FTPL) policy, which simply pulls the $m$ arms that rank among the $m$ smallest (estimated) loss with random perturbation. In this paper, we show that FTPL with a Fr\’echet perturbation also enjoys the near optimal regret bound $\mathcal{O}(\sqrt{nmd\log(d)})$ in the adversarial setting and approaches best-of-both-world regret bounds, i.e., achieves a logarithmic regret for the stochastic setting.

arxiv情報

著者 Jingxin Zhan,Yuchen Xin,Zhihua Zhang
発行日 2025-04-22 15:16:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Follow-the-Perturbed-Leader Approaches Best-of-Both-Worlds for the m-Set Semi-Bandit Problems はコメントを受け付けていません

Selective Task Group Updates for Multi-Task Optimization

投稿日: 2025年4月23日 作成者: jarxiv

要約

マルチタスク学習により、統一されたアーキテクチャ内で複数のタスクをトレーニングすることにより、タスクジェネリの知識を獲得できます。
ただし、すべてのタスクを単一のアーキテクチャで一緒にトレーニングすると、マルチタスク学習の主な関心事であるネガティブ転送として知られるパフォーマンスの劣化につながる可能性があります。
以前の作品は、勾配操作または加重損失調整を通じてマルチタスクネットワークを最適化することにより、この問題に対処しています。
ただし、最適化戦略は、共有パラメーターのタスクの不均衡に対処し、タスク固有のパラメーターの学習を無視することに焦点を当てています。
その結果、共有スペースとタスク固有の情報の学習が最適化中に互いに影響を与えるため、否定的な転送を緩和する際の制限を示しています。
これに対処するために、タスクを選択的にグループ化し、最適化中に各バッチの更新を行うことにより、マルチタスクのパフォーマンスを向上させる別のアプローチを提案します。
学習プロセス中にタスクを効果的にグループ化し、更新する方法を適応的に決定するアルゴリズムを紹介します。
タスク間の関係を追跡し、マルチタスクネットワークを同時に最適化するために、最適化プロセス中に測定できる近位タスク間親和性を提案します。
タスクを複数のグループに分割し、それらを順次更新することが、タスク固有のパラメーターの学習を強化することにより、マルチタスクのパフォーマンスに順番に大きく影響する方法についての理論的分析を提供します。
当社の方法は、以前のマルチタスク最適化アプローチを大幅に上回っており、さまざまなアーキテクチャやさまざまな数のタスクに拡張可能です。

要約(オリジナル)

Multi-task learning enables the acquisition of task-generic knowledge by training multiple tasks within a unified architecture. However, training all tasks together in a single architecture can lead to performance degradation, known as negative transfer, which is a main concern in multi-task learning. Previous works have addressed this issue by optimizing the multi-task network through gradient manipulation or weighted loss adjustments. However, their optimization strategy focuses on addressing task imbalance in shared parameters, neglecting the learning of task-specific parameters. As a result, they show limitations in mitigating negative transfer, since the learning of shared space and task-specific information influences each other during optimization. To address this, we propose a different approach to enhance multi-task performance by selectively grouping tasks and updating them for each batch during optimization. We introduce an algorithm that adaptively determines how to effectively group tasks and update them during the learning process. To track inter-task relations and optimize multi-task networks simultaneously, we propose proximal inter-task affinity, which can be measured during the optimization process. We provide a theoretical analysis on how dividing tasks into multiple groups and updating them sequentially significantly affects multi-task performance by enhancing the learning of task-specific parameters. Our methods substantially outperform previous multi-task optimization approaches and are scalable to different architectures and various numbers of tasks.

arxiv情報

著者 Wooseong Jeong,Kuk-Jin Yoon
発行日 2025-04-22 15:24:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Selective Task Group Updates for Multi-Task Optimization はコメントを受け付けていません

EEG Right & Left Voluntary Hand Movement-based Virtual Brain-Computer Interfacing Keyboard Using Hybrid Deep Learning Approach

投稿日: 2025年4月23日 作成者: jarxiv

要約

脳マシン界面（BMI）、特に脳波（EEG）に基づくものは、運動障害のある個人を支援するための有望なソリューションを提供します。
ただし、キーストロークのシミュレーションなど、特定のタスクのEEG信号を確実に解釈する際の課題は、脳の活動の複雑さと変動のために持続します。
現在のEEGベースのBMIは、従来の機械学習モデルが高次元のEEGデータを効果的に処理するのに苦労しているため、特に仮想キーボードのようなアプリケーションで、適応性、使いやすさ、堅牢性の制限に直面しています。
これらのギャップに対処するために、自発的なキーストロークを正確に識別できるEEGベースのBMIシステムを開発しました。
公開されているEEGデータセットを使用して、信号はバンドパスフィルタリングで前処理され、22電極アレイにセグメント化され、イベント関連のポテンシャル（ERP）ウィンドウに改良され、3つのクラスに分類された19×200機能アレイが得られます。
私たちのアプローチでは、EEGシグナルを解釈するための提案されたモデルとしてBigru-Attentionを備えたハイブリッドニューラルネットワークアーキテクチャを採用し、90％の優れたテスト精度と、10倍の層分析で91％の平均精度を達成します。
このパフォーマンスは、サポートベクターマシン（SVM）やナイーブベイズなどの従来のMLメソッド、ならびにトランス、CNNトランスフォーカーハイブリッド、EEGNETなどの高度なアーキテクチャよりも優れています。
最後に、Bigru-Attentionモデルは、脳の活動からキーストロークをシミュレートして予測するために、リアルタイムグラフィカルユーザーインターフェイス（GUI）に統合されています。
私たちの研究は、信号の解釈と分類の課題に対処することにより、ディープラーニングがEEGベースのBMIシステムをどのように進めることができるかを示しています。

要約(オリジナル)

Brain-machine interfaces (BMIs), particularly those based on electroencephalography (EEG), offer promising solutions for assisting individuals with motor disabilities. However, challenges in reliably interpreting EEG signals for specific tasks, such as simulating keystrokes, persist due to the complexity and variability of brain activity. Current EEG-based BMIs face limitations in adaptability, usability, and robustness, especially in applications like virtual keyboards, as traditional machine-learning models struggle to handle high-dimensional EEG data effectively. To address these gaps, we developed an EEG-based BMI system capable of accurately identifying voluntary keystrokes, specifically leveraging right and left voluntary hand movements. Using a publicly available EEG dataset, the signals were pre-processed with band-pass filtering, segmented into 22-electrode arrays, and refined into event-related potential (ERP) windows, resulting in a 19×200 feature array categorized into three classes: resting state (0), ‘d’ key press (1), and ‘l’ key press (2). Our approach employs a hybrid neural network architecture with BiGRU-Attention as the proposed model for interpreting EEG signals, achieving superior test accuracy of 90% and a mean accuracy of 91% in 10-fold stratified cross-validation. This performance outperforms traditional ML methods like Support Vector Machines (SVMs) and Naive Bayes, as well as advanced architectures such as Transformers, CNN-Transformer hybrids, and EEGNet. Finally, the BiGRU-Attention model is integrated into a real-time graphical user interface (GUI) to simulate and predict keystrokes from brain activity. Our work demonstrates how deep learning can advance EEG-based BMI systems by addressing the challenges of signal interpretation and classification.

arxiv情報

著者 Biplov Paneru,Bipul Thapa,Bishwash Paneru,Sanjog Chhetri Sapkota
発行日 2025-04-22 15:28:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.LG, cs.NE, eess.SP, q-bio.NC | EEG Right & Left Voluntary Hand Movement-based Virtual Brain-Computer Interfacing Keyboard Using Hybrid Deep Learning Approach はコメントを受け付けていません