AGIR: Automating Cyber Threat Intelligence Reporting with Natural Language Generation

要約

サイバー脅威インテリジェンス (CTI) レポートは、現代のリスク管理戦略において極めて重要です。
CTI レポートの量が急増し続けるにつれて、レポート生成を合理化する自動ツールの需要がますます明らかになってきています。
自然言語処理技術はテキスト データの処理に可能性を示していますが、多様なデータ ソースの複雑さとそれらの複雑な相互関係に対処するのに苦労することがよくあります。
さらに、STIX のような確立されたパラダイムが CTI コミュニティ内の事実上の標準として浮上し、一貫したデータ共有を促進するためにエンティティと関係を正式に分類することが強調されています。
このペーパーでは、CTI レポートの分野における差し迫った課題に対処するために特別に設計された、革新的な自然言語生成ツールである AGIR (Automatic Generation of Intelligence Reports) について紹介します。
AGIR の主な目的は、エンティティ グラフの形式的な表現から包括的なインテリジェンス レポートを生成するという労働集約的なタスクを自動化することで、セキュリティ アナリストの能力を強化することです。
AGIR は、テンプレートベースのアプローチの利点と ChatGPT などの大規模言語モデルの機能を組み合わせて、2 段階のパイプラインを利用します。
私たちは、AGIR のレポート生成機能を定量的および定性的に評価します。
生成されたレポートは、形式的な言語で表現された情報を正確に伝え、幻覚を引き起こすことなく高い再現値 (0.99) を達成します。
さらに、レポートの流暢さと有用性を最先端のアプローチと比較し、AGIR が Syntactic Log-Odds Ratio (SLOR) およびアンケートを通じてどのようにしてより高いスコアを達成するかを示します。
当社のツールを使用することで、レポート作成時間が 40% 以上短縮され、あらゆる組織の CTI 作成が合理化され、いくつかの CTI タスクの自動化に貢献すると推定されています。

要約(オリジナル)

Cyber Threat Intelligence (CTI) reporting is pivotal in contemporary risk management strategies. As the volume of CTI reports continues to surge, the demand for automated tools to streamline report generation becomes increasingly apparent. While Natural Language Processing techniques have shown potential in handling text data, they often struggle to address the complexity of diverse data sources and their intricate interrelationships. Moreover, established paradigms like STIX have emerged as de facto standards within the CTI community, emphasizing the formal categorization of entities and relations to facilitate consistent data sharing. In this paper, we introduce AGIR (Automatic Generation of Intelligence Reports), a transformative Natural Language Generation tool specifically designed to address the pressing challenges in the realm of CTI reporting. AGIR’s primary objective is to empower security analysts by automating the labor-intensive task of generating comprehensive intelligence reports from formal representations of entity graphs. AGIR utilizes a two-stage pipeline by combining the advantages of template-based approaches and the capabilities of Large Language Models such as ChatGPT. We evaluate AGIR’s report generation capabilities both quantitatively and qualitatively. The generated reports accurately convey information expressed through formal language, achieving a high recall value (0.99) without introducing hallucination. Furthermore, we compare the fluency and utility of the reports with state-of-the-art approaches, showing how AGIR achieves higher scores in terms of Syntactic Log-Odds Ratio (SLOR) and through questionnaires. By using our tool, we estimate that the report writing time is reduced by more than 40%, therefore streamlining the CTI production of any organization and contributing to the automation of several CTI tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google