DecompileBench: A Comprehensive Benchmark for Evaluating Decompilers in Real-World Scenarios

要約

逆コンパイラは、脆弱性の発見からマルウェア分析まで、重要なセキュリティタスクの基本的なツールですが、その評価は断片化されたままです。
既存のアプローチは、主に合成マイクロベンチマークまたは主観的な人間の評価を介して構文の正確性に焦点を当てており、セマンティックフィデリティとアナリストの使いやすさの現実世界の要件に対処できません。
3つの主要なコンポーネントを介したリバースエンジニアリングワークフローでの逆コンパイラの効果的な評価を可能にする最初の包括的なフレームワークであるDecompileBenchを紹介します：\ TextIT {Real-World Function Extraction}（130の実世界プログラムからの23,400関数を含む）、\ TextIT {Runtime-Ware velidation}、および\ textiT {automated assisment eを使用した{runtim-assicments easing asestricment {
リバースエンジニアリングワークフローにおける逆コンパイラの有効性を定量化します。
6つの産業強度逆コンパイラと最近の6つのLLM駆動型アプローチとの体系的な比較を通じて、LLMベースの方法は、52.2％低い機能の正確性にもかかわらず、コードの理解可能性の商用ツールを上回ることを実証します。
これらの調査結果は、人間中心のリバースエンジニアリングを変換するLLMベースのアプローチの可能性を強調しています。
オープンソース\ href {https://github.com/jennieett/decompilebench} {decompilebench} {decompilebench} decompilersの研究を進め、セキュリティの専門家が特定の要件に基づいて情報に基づいたツール選択を行うのを支援します。

要約(オリジナル)

Decompilers are fundamental tools for critical security tasks, from vulnerability discovery to malware analysis, yet their evaluation remains fragmented. Existing approaches primarily focus on syntactic correctness through synthetic micro-benchmarks or subjective human ratings, failing to address real-world requirements for semantic fidelity and analyst usability. We present DecompileBench, the first comprehensive framework that enables effective evaluation of decompilers in reverse engineering workflows through three key components: \textit{real-world function extraction} (comprising 23,400 functions from 130 real-world programs), \textit{runtime-aware validation}, and \textit{automated human-centric assessment} using LLM-as-Judge to quantify the effectiveness of decompilers in reverse engineering workflows. Through a systematic comparison between six industrial-strength decompilers and six recent LLM-powered approaches, we demonstrate that LLM-based methods surpass commercial tools in code understandability despite 52.2% lower functionality correctness. These findings highlight the potential of LLM-based approaches to transform human-centric reverse engineering. We open source \href{https://github.com/Jennieett/DecompileBench}{DecompileBench} to provide a framework to advance research on decompilers and assist security experts in making informed tool selections based on their specific requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google