On the Security Risks of Knowledge Graph Reasoning

要約

ナレッジ グラフ推論 (KGR)、つまり大規模なナレッジ グラフに対する複雑な論理クエリに答えることは、さまざまなアプリケーション (サイバー脅威ハンティングなど) を伴う重要な人工知能タスクを表します。
しかし、KGR の人気が急速に高まっているにもかかわらず、KGR の潜在的なセキュリティ リスクはほとんど解明されておらず、セキュリティ クリティカルなドメインでこのような機能の使用が増加していることを考えると、これは憂慮すべきことです。
この取り組みは、顕著なギャップを埋めるための確かな最初の一歩を表しています。
私たちは、攻撃者の目的、知識、攻撃ベクトルに応じて、KGR に対するセキュリティ脅威を体系化します。
さらに、このようなさまざまな脅威を引き起こす新しいクラスの攻撃である ROAR についても紹介します。
代表的なユースケース (医療意思決定のサポート、サイバー脅威ハンティング、常識的推論など) での実証的評価を通じて、ROAR が KGR を誤解させ、ターゲット クエリに対する事前定義された回答を提案させるのに非常に効果的であるにもかかわらず、非クエリへの影響は無視できることを実証しました。
対象のもの。
最後に、有害となる可能性のある知識のフィルタリングや、敵対的に強化されたクエリによるトレーニングなど、ROAR に対する潜在的な対抗策を検討します。これは、いくつかの有望な研究方向につながります。

要約(オリジナル)

Knowledge graph reasoning (KGR) — answering complex logical queries over large knowledge graphs — represents an important artificial intelligence task, entailing a range of applications (e.g., cyber threat hunting). However, despite its surging popularity, the potential security risks of KGR are largely unexplored, which is concerning, given the increasing use of such capability in security-critical domains. This work represents a solid initial step towards bridging the striking gap. We systematize the security threats to KGR according to the adversary’s objectives, knowledge, and attack vectors. Further, we present ROAR, a new class of attacks that instantiate a variety of such threats. Through empirical evaluation in representative use cases (e.g., medical decision support, cyber threat hunting, and commonsense reasoning), we demonstrate that ROAR is highly effective to mislead KGR to suggest pre-defined answers for target queries, yet with negligible impact on non-target ones. Finally, we explore potential countermeasures against ROAR, including filtering of potentially poisoning knowledge and training with adversarially augmented queries, which leads to several promising research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google