Can Features for Phishing URL Detection Be Trusted Across Diverse Datasets? A Case Study with Explainable AI

要約

フィッシングは、信頼できる組織を装った欺瞞的な戦術によってユーザーを操作し、機密の個人情報を漏らすように仕向ける、蔓延しているサイバー脅威です。
長年にわたり、フィッシング URL (または Web サイト) を積極的に検出することは、広く受け入れられている防御アプローチとして確立されてきました。
文献では、フィッシング Web サイトと無害 (つまり、正規の) Web サイトの両方から抽出された特徴に基づいてフィッシング Web サイトを検出するための、非常に競争力のあるパフォーマンスを備えた教師あり機械学習 (ML) モデルがよく見つかります。
ただし、これらの機能やインジケーターが特定のデータセットに依存しているのか、それともフィッシング検出全体のために一般化されているのかはまだ不明です。
このペーパーでは、一般に利用可能な 2 つのフィッシング URL データセットを分析することで、この問題をさらに深く掘り下げます。各データセットには、URL 文字列と Web サイトのコンテンツに関連する独自の重複する特徴のセットがあります。
私たちは、重複する特徴がデータセット全体で本質的に類似しているかどうか、また、一方のデータセットでトレーニングし、もう一方のデータセットでテストしたときにモデルがどのように機能するかを調査したいと考えています。
私たちは実践的な実験を実施し、SHAP プロットなどの説明可能な AI (XAI) 手法を活用して、フィッシング検出の場合のさまざまな機能の寄与に関する洞察を提供し、「フィッシング URL 検出の機能は多様なデータセットにわたって信頼できるか?」という主要な質問に答えます。
私たちのケーススタディの実験結果は、フィッシング URL 検出の機能は多くの場合データセットに依存する可能性があるため、同じ機能セットの動作を共有している場合でも、異なるデータセット間では信頼できない可能性があることを示しています。

要約(オリジナル)

Phishing has been a prevalent cyber threat that manipulates users into revealing sensitive private information through deceptive tactics, designed to masquerade as trustworthy entities. Over the years, proactively detection of phishing URLs (or websites) has been established as an widely-accepted defense approach. In literature, we often find supervised Machine Learning (ML) models with highly competitive performance for detecting phishing websites based on the extracted features from both phishing and benign (i.e., legitimate) websites. However, it is still unclear if these features or indicators are dependent on a particular dataset or they are generalized for overall phishing detection. In this paper, we delve deeper into this issue by analyzing two publicly available phishing URL datasets, where each dataset has its own set of unique and overlapping features related to URL string and website contents. We want to investigate if overlapping features are similar in nature across datasets and how does the model perform when trained on one dataset and tested on the other. We conduct practical experiments and leverage explainable AI (XAI) methods such as SHAP plots to provide insights into different features’ contributions in case of phishing detection to answer our primary question, ‘Can features for phishing URL detection be trusted across diverse dataset?’. Our case study experiment results show that features for phishing URL detection can often be dataset-dependent and thus may not be trusted across different datasets even though they share same set of feature behaviors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google