Unlocking Non-Invasive Brain-to-Text

要約

外科的脳からテキスト（B2T）の大きな進歩、つまり侵襲的な脳記録からの転写音声にもかかわらず、非侵襲的な代替品はまだ標準的なメトリックのチャンスさえも超えていません。
これは、手術なしで麻痺した個人のコミュニケーションを復元できる非侵襲的な脳コンピューターインターフェイス（BCI）を構築する障壁のままです。
ここでは、これらの重要なベースラインを大幅に超える最初の非侵襲的B2T結果を提示し、BLEUを1.4 \ MathRM { – } 2.6 \ Times $ $ $ 1.4 \ MathRM { – } \ Times $ ase by by by by by by by by by by by by by by by by by by by by by bleuにします。
この結果は、次の3つの貢献によって駆動されます。（1）LLMベースの救助で最近の単語分類モデルを拡張し、単一ワード予測因子を閉鎖的なB2Tシステムに変換します。
（2）予測中のアプローチを導入して、予測中のアプローチを導入して、表記（OOV）の単語を処理し、効果的な語彙を大幅に拡大します。
（3）データセット全体で非侵襲的なB2Tモデルをスケーリングし、大規模な深い学習のロックを解除し、2.1 \ MathRM { – } 2.3 \ Times $による精度を改善する方法を初めて示します。
これらの貢献を通じて、データの品質と語彙サイズの役割に関する新しい洞察を提供します。
一緒に、私たちの結果は、実用的な非侵襲的B2Tシステムを実現するための大きな障害を取り除きます。

要約(オリジナル)

Despite major advances in surgical brain-to-text (B2T), i.e. transcribing speech from invasive brain recordings, non-invasive alternatives have yet to surpass even chance on standard metrics. This remains a barrier to building a non-invasive brain-computer interface (BCI) capable of restoring communication in paralysed individuals without surgery. Here, we present the first non-invasive B2T result that significantly exceeds these critical baselines, raising BLEU by $1.4\mathrm{-}2.6\times$ over prior work. This result is driven by three contributions: (1) we extend recent word-classification models with LLM-based rescoring, transforming single-word predictors into closed-vocabulary B2T systems; (2) we introduce a predictive in-filling approach to handle out-of-vocabulary (OOV) words, substantially expanding the effective vocabulary; and (3) we demonstrate, for the first time, how to scale non-invasive B2T models across datasets, unlocking deep learning at scale and improving accuracy by $2.1\mathrm{-}2.3\times$. Through these contributions, we offer new insights into the roles of data quality and vocabulary size. Together, our results remove a major obstacle to realising practical non-invasive B2T systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google