On the Security Risks of Knowledge Graph Reasoning

要約

タイトル：知識グラフ推論のセキュリティリスクに関する研究
要約：
– 知識グラフ推論（KGR）は、大規模な知識グラフに対する複雑な論理クエリに応答する人工知能の重要なタスクであり、サイバー脅威追跡などの幅広い応用が存在します。
– しかし、KGRの潜在的なセキュリティリスクについてはほとんど研究がされておらず、セキュリティクリティカルな領域でこの機能が増加していることが懸念されます。
– この研究は、この顕著なギャップを埋めるための重要な初期段階を示しています。
– 研究者たちは、攻撃者の目的、知識、攻撃ベクトルに基づいて、KGRに対するセキュリティ脅威を体系化しました。
– さらに、研究者たちは、ROARと呼ばれる新しい攻撃クラスを紹介し、様々な脅威を具体化させました。
– 医療決定支援、サイバー脅威追跡、常識推論などの代表的なユースケースでの経験的評価を通じて、ROARは、ターゲットクエリに対して事前に定義された回答を提案するようにKGRを誤導するために非常に効果的であることを示していますが、非ターゲットのものにはほとんど影響を与えません。
– 最後に、研究者たちは、ROARに対する潜在的な対策を探索し、毒入り知識のフィルタリングや反対者によって強化されたクエリでのトレーニングなど、いくつかの有望な研究方向を提案しています。

要約(オリジナル)

Knowledge graph reasoning (KGR) — answering complex logical queries over large knowledge graphs — represents an important artificial intelligence task, entailing a range of applications (e.g., cyber threat hunting). However, despite its surging popularity, the potential security risks of KGR are largely unexplored, which is concerning, given the increasing use of such capability in security-critical domains. This work represents a solid initial step towards bridging the striking gap. We systematize the security threats to KGR according to the adversary’s objectives, knowledge, and attack vectors. Further, we present ROAR, a new class of attacks that instantiate a variety of such threats. Through empirical evaluation in representative use cases (e.g., medical decision support, cyber threat hunting, and commonsense reasoning), we demonstrate that ROAR is highly effective to mislead KGR to suggest pre-defined answers for target queries, yet with negligible impact on non-target ones. Finally, we explore potential countermeasures against ROAR, including filtering of potentially poisoning knowledge and training with adversarially augmented queries, which leads to several promising research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI