Revisiting Neural Program Smoothing for Fuzzing

要約

ランダムに生成された入力 (ファジング) を使用したテストは、プログラムの脆弱性を自動的に暴露できるため、大きな注目を集めています。
ファジング テスト キャンペーンは大量のデータを生成するため、機械学習 (ML) のアプリケーションに最適です。
ML ガイド付きファザーの特定のファミリーであるニューラル プログラム スムージング (NPS) は、新しいテスト ケース生成のためのプログラム ターゲットの滑らかな近似としてニューラル ネットワークを使用することを目的としています。
この論文では、標準的なグレーボックス ファザー (CPU 年 11 年以上、GPU 年 5.5 年以上) と比較して、NPS ファザーの最も広範な評価を実施し、次の貢献を行います。 (1) NPS ファザーの本来のパフォーマンス主張が、
保持しないでください。
このギャップは、以前の研究の基本的、実装的、および実験的な制限に関係しています。
(2) NPS における機械学習と勾配ベースの突然変異の寄与に関する初めての詳細な分析に貢献します。
(3) Neuzz++ を実装します。これは、NPS ファザーの実際的な制限に対処するとパフォーマンスが向上するが、標準のグレーボックス ファザーがほぼ常に NPS ベースのファザーを上回ることを示しています。
(4) その結果、機械学習に基づいたファジングのベンチマークを対象とした新しいガイドラインを提案し、ML ベースのファジングを簡単かつ再現可能に評価するための GPU アクセスを備えたプラットフォームである MLFuzz を提示します。
Neuzz++、MLFuzz、およびすべてのデータは公開されています。

要約(オリジナル)

Testing with randomly generated inputs (fuzzing) has gained significant traction due to its capacity to expose program vulnerabilities automatically. Fuzz testing campaigns generate large amounts of data, making them ideal for the application of machine learning (ML). Neural program smoothing (NPS), a specific family of ML-guided fuzzers, aims to use a neural network as a smooth approximation of the program target for new test case generation. In this paper, we conduct the most extensive evaluation of NPS fuzzers against standard gray-box fuzzers (>11 CPU years and >5.5 GPU years), and make the following contributions: (1) We find that the original performance claims for NPS fuzzers do not hold; a gap we relate to fundamental, implementation, and experimental limitations of prior works. (2) We contribute the first in-depth analysis of the contribution of machine learning and gradient-based mutations in NPS. (3) We implement Neuzz++, which shows that addressing the practical limitations of NPS fuzzers improves performance, but that standard gray-box fuzzers almost always surpass NPS-based fuzzers. (4) As a consequence, we propose new guidelines targeted at benchmarking fuzzing based on machine learning, and present MLFuzz, a platform with GPU access for easy and reproducible evaluation of ML-based fuzzers. Neuzz++, MLFuzz, and all our data are public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google