Symmetry-Preserving Program Representations for Learning Code Semantics

要約

大規模言語モデル (LLM) は、多くのセキュリティ タスクの重要な側面である自動プログラム推論において有望であることが示されています。
ただし、コード用の既存の LLM アーキテクチャは、自然言語処理などの他のドメインから借用されていることが多く、その一般化と目に見えないコードに対する堅牢性について懸念が生じています。
一般化における重要な課題は、制御やデータ フローを含むコード セマンティクスの知識を LLM アーキテクチャに組み込むことです。
並進対称性を利用した畳み込み層の例からインスピレーションを得て、コードの対称性がプログラム分析とモデリングのための LLM アーキテクチャをどのように強化できるかを探ります。
我々は、コードの対称性を意味論を保持する変換として正式に定義し、LLM アーキテクチャ内での対称性の保持について正確に推論するための技術を提供する、厳密な群理論のフレームワークを提示します。
このフレームワークを使用して、プログラムの対称性を維持する自己注意の新しい変種を導入し、さまざまなバイナリおよびソース コード分析タスクにわたる詳細な実験評価を通じて、一般化と堅牢性におけるその有効性を実証します。
全体として、当社のコード対称フレームワークは、コード用に特化した LLM の将来の開発を導き、LLM ガイドによるプログラム推論タスクを進めることができる、厳密で強力な推論テクニックを提供します。

要約(オリジナル)

Large Language Models (LLMs) have shown promise in automated program reasoning, a crucial aspect of many security tasks. However, existing LLM architectures for code are often borrowed from other domains like natural language processing, raising concerns about their generalization and robustness to unseen code. A key generalization challenge is to incorporate the knowledge of code semantics, including control and data flow, into the LLM architectures. Drawing inspiration from examples of convolution layers exploiting translation symmetry, we explore how code symmetries can enhance LLM architectures for program analysis and modeling. We present a rigorous group-theoretic framework that formally defines code symmetries as semantics-preserving transformations and provides techniques for precisely reasoning about symmetry preservation within LLM architectures. Using this framework, we introduce a novel variant of self-attention that preserves program symmetries, demonstrating its effectiveness in generalization and robustness through detailed experimental evaluations across different binary and source code analysis tasks. Overall, our code symmetry framework offers rigorous and powerful reasoning techniques that can guide the future development of specialized LLMs for code and advance LLM-guided program reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google