Combining AI and AM – Improving Approximate Matching through Transformer Networks

要約

タイトル：AIとAMの融合-Transformer Networkを用いた近似マッチングの改善

要約：
– 近似マッチング(AM)は、デジタルフォレンジックにおけるデジタルアーティファクト間の類似性を判断する概念です。
– AMの重要なユースケースは、元のファイルの断片しか利用できない場合にブラックリストにおけるケース関連のデータ構造を信頼性と効率的に検出することです。
– 従来のAM機能（TLSHやssdeepなど）は、細片が全体のファイルサイズに比べて比較的小さい場合、ファイルを検出できないという問題があります。
– また、従来のAMアルゴリズムのもう一つの問題は、データベースが増えるためにスケーリングができなくなることです。
– 自然言語処理の分野からTransformerモデルをベースとした改良されたマッチングアルゴリズムを提案します。このアプローチをDeep Learning Approximate Matching（DLAM）と呼びます。
– DLAMはトレーニングフェーズで黒リストのパターンについて知識を習得することができます。
– DLAMは通常よりもはるかに大きなファイルでパターンを検出できるため、フラグメント検出の使用例に重点を置いています。
– DLAMが従来のアプローチTLSHやssdeepに比べて3つの主な利点を持つことがわかりました。
– ①既知の調査方法による特定の不良パーツの抽出が不要になるため、効率的なファイル分類が可能になります。
– ②使用例に応じて、DLAMはブラックリストファイルのフラグメントから同様またはさらに高い正確度の回復を達成することができます。
– ③DLAMにより、TLSHやssdeepの出力のファイル相関の検出が可能になります。

要約(オリジナル)

Approximate matching (AM) is a concept in digital forensics to determine the similarity between digital artifacts. An important use case of AM is the reliable and efficient detection of case-relevant data structures on a blacklist, if only fragments of the original are available. For instance, if only a cluster of indexed malware is still present during the digital forensic investigation, the AM algorithm shall be able to assign the fragment to the blacklisted malware. However, traditional AM functions like TLSH and ssdeep fail to detect files based on their fragments if the presented piece is relatively small compared to the overall file size. A second well-known issue with traditional AM algorithms is the lack of scaling due to the ever-increasing lookup databases. We propose an improved matching algorithm based on transformer models from the field of natural language processing. We call our approach Deep Learning Approximate Matching (DLAM). As a concept from artificial intelligence (AI), DLAM gets knowledge of characteristic blacklisted patterns during its training phase. Then DLAM is able to detect the patterns in a typically much larger file, that is DLAM focuses on the use case of fragment detection. We reveal that DLAM has three key advantages compared to the prominent conventional approaches TLSH and ssdeep. First, it makes the tedious extraction of known to be bad parts obsolete, which is necessary until now before any search for them with AM algorithms. This allows efficient classification of files on a much larger scale, which is important due to exponentially increasing data to be investigated. Second, depending on the use case, DLAM achieves a similar or even significantly higher accuracy in recovering fragments of blacklisted files. Third, we show that DLAM enables the detection of file correlations in the output of TLSH and ssdeep even for small fragment sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI