Random Channel Ablation for Robust Hand Gesture Classification with Multimodal Biosignals

要約

生体信号に基づくハンドジェスチャーの分類は、人間とマシンの効果的なインタラクションの重要な要素です。
マルチモーダル生体信号センシングの場合、モダリティは多くの場合、データ内のチャネルの欠落によるデータ損失に直面し、ジェスチャ分類パフォーマンスに悪影響を与える可能性があります。
データ内の欠落チャネルに対して分類器を堅牢にするために、この論文では、トレーニング プロセス中にランダム チャネル アブレーション (RChA) を使用することを提案します。
超音波および筋力検査 (FMG) データは、2 人の被験者にわたる 12 の手のジェスチャーについて前腕から取得されました。
結果として得られたマルチモーダル データには、各モダリティに 8 つずつ、合計 16 つのチャネルがありました。
提案された手法は畳み込みニューラル ネットワーク アーキテクチャに適用され、ベースライン手法、代入手法、およびオラクル手法と比較されました。
2 人の被験者に対して 5 分割交差検証を使用すると、ベースラインと比較して、最大 4 チャネルと 8 チャネルの欠落を伴うジェスチャ分類で、平均してそれぞれ 12.2% と 24.5% の改善が観察されました。
特に、提案された方法は、他の方法と比較して、欠落チャネル数の増加に対しても耐性があります。
これらの結果は、ランダム チャネル アブレーションを使用して、マルチモーダルおよびマルチチャネルの生体信号ベースの手ジェスチャ分類の分類器の堅牢性を向上させる有効性を示しています。

要約(オリジナル)

Biosignal-based hand gesture classification is an important component of effective human-machine interaction. For multimodal biosignal sensing, the modalities often face data loss due to missing channels in the data which can adversely affect the gesture classification performance. To make the classifiers robust to missing channels in the data, this paper proposes using Random Channel Ablation (RChA) during the training process. Ultrasound and force myography (FMG) data were acquired from the forearm for 12 hand gestures over 2 subjects. The resulting multimodal data had 16 total channels, 8 for each modality. The proposed method was applied to convolutional neural network architecture, and compared with baseline, imputation, and oracle methods. Using 5-fold cross-validation for the two subjects, on average, 12.2% and 24.5% improvement was observed for gesture classification with up to 4 and 8 missing channels respectively compared to the baseline. Notably, the proposed method is also robust to an increase in the number of missing channels compared to other methods. These results show the efficacy of using random channel ablation to improve classifier robustness for multimodal and multi-channel biosignal-based hand gesture classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google