Improving Acoustic Side-Channel Attacks on Keyboards Using Transformers and Large Language Models

要約

日常のデバイスにおけるマイクの増加の有病率とオンラインサービスへの依存度の高まりにより、キーボードを標的とする音響サイドチャネル攻撃（ASCA）のリスクが増幅されました。
この研究では、そのような攻撃の有効性と適用性を高めるために、深い学習技術、特にビジョン変圧器（VTS）および大規模な言語モデル（LLM）を調査します。
コートネットモデルが最先端のパフォーマンスを達成しているため、以前の研究よりも大幅な改善を提示します。
当社のCoatNetは、スマートフォン（電話）を介して記録されたキーストロークの5.0％の改善と、以前のベンチマークと比較してズームを介して記録されたキーストロークと5.9％を示しています。
また、Coatnetのパフォーマンスを一致させる最高のVTモデルで、トランスアーキテクチャと言語モデルも評価します。
重要な進歩は、実際のシナリオのためのノイズ緩和方法の導入です。
コンテキストの理解のためにLLMを使用することにより、騒々しい環境で誤ったキーストロークを検出して修正し、ASCAのパフォーマンスを向上させます。
さらに、低ランク適応（LORA）を備えた微調整された軽量言語モデルは、67倍のパラメーターを持つヘビー級モデルに同等のパフォーマンスを提供します。
VTSとLLMSのこの統合により、ASCA緩和の実用的な適用性が向上し、実際のシナリオでのASCAとエラー修正に対処するためのこれらのテクノロジーの最初の使用をマークします。

要約(オリジナル)

The increasing prevalence of microphones in everyday devices and the growing reliance on online services have amplified the risk of acoustic side-channel attacks (ASCAs) targeting keyboards. This study explores deep learning techniques, specifically vision transformers (VTs) and large language models (LLMs), to enhance the effectiveness and applicability of such attacks. We present substantial improvements over prior research, with the CoAtNet model achieving state-of-the-art performance. Our CoAtNet shows a 5.0% improvement for keystrokes recorded via smartphone (Phone) and 5.9% for those recorded via Zoom compared to previous benchmarks. We also evaluate transformer architectures and language models, with the best VT model matching CoAtNet’s performance. A key advancement is the introduction of a noise mitigation method for real-world scenarios. By using LLMs for contextual understanding, we detect and correct erroneous keystrokes in noisy environments, enhancing ASCA performance. Additionally, fine-tuned lightweight language models with Low-Rank Adaptation (LoRA) deliver comparable performance to heavyweight models with 67X more parameters. This integration of VTs and LLMs improves the practical applicability of ASCA mitigation, marking the first use of these technologies to address ASCAs and error correction in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google