emg2qwerty: A Large Dataset with Baselines for Touch Typing using Surface Electromyography

要約

表面筋電図 (sEMG) は、筋肉の活動によって生成される信号を、個々の脊髄ニューロンを検出するのに十分な感度と、数十のジェスチャーとそのニュアンスを識別するための豊富さで非侵襲的に測定します。
ウェアラブルな手首ベースの sEMG センサーは、摩擦が少なく、繊細で、情報が豊富で、常に利用可能な人間のコンピューター入力を提供する可能性があります。
この目的を達成するために、QWERTY キーボードでのタッチ タイピング中に手首で記録された非侵襲的な筋電図信号の大規模データセットである emg2qwerty を、グラウンドトゥルースの注釈と再現可能なベースラインとともに導入します。
108 人のユーザーにわたる 1,135 のセッションと 346 時間の記録を含む、これはこれまでで最大のこの種の公開データセットです。
これらのデータは、ニューロンから筋肉および筋肉の組み合わせに至る生成プロセスの観点と、ユーザーおよびユーザー セッション間のドメイン シフトの観点の両方において、自明ではないものの、明確に定義された階層関係を示しています。
密接に関連する自動音声認識 (ASR) 分野の標準モデリング技術を適用することで、sEMG 信号のみを使用したキー入力の予測において強力なベースライン パフォーマンスを示します。
このタスクとデータセットの豊富さによって、機械学習コミュニティと神経科学コミュニティの両方が関心を寄せているいくつかの問題の進歩が促進されると私たちは信じています。
データセットとコードには https://github.com/facebookresearch/emg2qwerty からアクセスできます。

要約(オリジナル)

Surface electromyography (sEMG) non-invasively measures signals generated by muscle activity with sufficient sensitivity to detect individual spinal neurons and richness to identify dozens of gestures and their nuances. Wearable wrist-based sEMG sensors have the potential to offer low friction, subtle, information rich, always available human-computer inputs. To this end, we introduce emg2qwerty, a large-scale dataset of non-invasive electromyographic signals recorded at the wrists while touch typing on a QWERTY keyboard, together with ground-truth annotations and reproducible baselines. With 1,135 sessions spanning 108 users and 346 hours of recording, this is the largest such public dataset to date. These data demonstrate non-trivial, but well defined hierarchical relationships both in terms of the generative process, from neurons to muscles and muscle combinations, as well as in terms of domain shift across users and user sessions. Applying standard modeling techniques from the closely related field of Automatic Speech Recognition (ASR), we show strong baseline performance on predicting key-presses using sEMG signals alone. We believe the richness of this task and dataset will facilitate progress in several problems of interest to both the machine learning and neuroscientific communities. Dataset and code can be accessed at https://github.com/facebookresearch/emg2qwerty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google