On the Security Vulnerabilities of Text-to-SQL Models

要約

自然言語処理（NLP）アルゴリズムは意図的な攻撃に対して脆弱であることが実証されているが、そのような弱点がソフトウェアセキュリティの脅威につながるかどうかという疑問は、十分に検討されていない。このギャップを埋めるために、我々はデータベースへの自然言語インターフェースを作成するために一般的に使用されているText-to-SQLシステムの脆弱性テストを実施しました。その結果、6つの商用アプリケーションのText-to-SQLモジュールを操作して悪意のあるコードを生成することができ、データ漏洩やサービス拒否攻撃につながる可能性があることを示しました。これは、NLPモデルが野生の攻撃ベクトルとして悪用される可能性があることを示す最初のデモンストレーションです。さらに、4つのオープンソース言語モデルを用いた実験では、Text-to-SQLシステムに対するストレートなバックドア攻撃が、その性能に影響を与えることなく100％の成功率を達成することが検証されました。この研究の目的は、NLPアルゴリズムに関連する潜在的なソフトウェア・セキュリティの問題にコミュニティの注意を向けさせ、それらを軽減する方法の探求を奨励することです。

要約(オリジナル)

Although it has been demonstrated that Natural Language Processing (NLP) algorithms are vulnerable to deliberate attacks, the question of whether such weaknesses can lead to software security threats is under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL systems that are commonly used to create natural language interfaces to databases. We showed that the Text-to-SQL modules within six commercial applications can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service attacks. This is the first demonstration that NLP models can be exploited as attack vectors in the wild. In addition, experiments using four open-source language models verified that straightforward backdoor attacks on Text-to-SQL systems achieve a 100% success rate without affecting their performance. The aim of this work is to draw the community’s attention to potential software security issues associated with NLP algorithms and encourage exploration of methods to mitigate against them.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL