Bandit on the Hunt: Dynamic Crawling for Cyber Threat Intelligence

要約

公開情報には、将来の攻撃を防ぐために使用される貴重なサイバー脅威インテリジェンス (CTI) が含まれています。
理想的には、以前の攻撃から学んだことが、その後のすべての攻撃を軽減するのに役立ちます。
この情報を共有するための標準はありますが、その多くは標準化されていないニュース記事やブログ投稿で共有されます。
オンライン ソースを監視して脅威を監視するのは時間のかかる作業ですが、それでも、正しいソースを使用しているかどうかは決してわかりません。
現在の研究では、既知のソースから侵害の痕跡を抽出する方法が提案されていますが、新しいソースの特定はほとんど考慮されていません。
この論文では、マルチアーム バンディット (MAB) とさまざまなクローリング戦略に基づいた CTI ドメインに焦点を当てた集中クローラを提案します。
SBERT を使用して関連ドキュメントを識別し、そのクローリング パスを動的に調整します。
私たちは、ThreatCrawl と呼ばれるシステムを提案します。これは、目の前のテーマに焦点を当てたまま、25% 以上の収穫率を達成し、使用されるシードを 300% 以上拡張することができます。
さらに、このクローラは、これまで知られていなかったが関連性の高い概要ページ、データセット、ドメインを特定しました。

要約(オリジナル)

Public information contains valuable Cyber Threat Intelligence (CTI) that is used to prevent attacks in the future. Ideally, the learnings from previous attacks help to mitigate all those that follow. While there are standards for sharing this information, much of it is shared in non-standardized news articles or blog posts. It is a time-consuming task to monitor online sources for threats and even then, one can never be sure, to use the right sources. Current research propose extractors of Indicators of Compromise from known sources, while the identification of new sources is rarely considered. This paper proposes a focused crawler focused on the CTI domain based on multi-armed bandit ( MAB) and different crawling strategies. It uses SBERT to identify relevant documents, while dynamically adapt its crawling path. We propose a system called ThreatCrawl, which achieve a harvest rate of over 25% and is able to expand its used seed by over 300%, while retaining focus on the topic at hand. In addition, this crawler identified previously unknown but highly relevant overview pages, datasets, and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google