Chain-of-Code Collapse: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation

要約

大規模な言語モデル（LLMS）は、コード生成、数学的問題解決、アルゴリズム合成など、複雑な推論を必要とするタスクで顕著な成功を収めています。
しかし、中核的な疑問は残っています。これらのモデルは本当に理由がありますか、それとも浅い統計パターンを悪用するだけですか？
この論文では、チェーンオブコードの崩壊を紹介します。ここでは、意味的に忠実でありながら敵対的に構造化された迅速な摂動を導入することにより、LLMSの推論の堅牢性を体系的に調査します。
リートコードスタイルの問題から派生した700の摂動コード世代にまたがる私たちの評価は、ストーリーテリングの再構成、無関係な制約注入、並べ替えの例、数値摂動などの変換を適用します。
特定の変更はパフォーマンスをひどく低下させるが（精度が-42.1％まで低下する）、モデルの精度を最大35.3％驚くほど改善し、セマンティクスだけでなく表面レベルのプロンプトダイナミクスに対する感度も示唆していることが観察されます。
これらの発見は、現在の推論システムの脆弱性と予測不可能性を明らかにし、推論の調整と堅牢性を促すためのより多くの原則アプローチの必要性を強調しています。
摂動データセットと評価フレームワークをリリースして、信頼できる回復力のあるLLM推論のさらなる研究を促進します。

要約(オリジナル)

Large Language Models (LLMs) have achieved remarkable success in tasks requiring complex reasoning, such as code generation, mathematical problem solving, and algorithmic synthesis — especially when aided by reasoning tokens and Chain-of-Thought prompting. Yet, a core question remains: do these models truly reason, or do they merely exploit shallow statistical patterns? In this paper, we introduce Chain-of-Code Collapse, where we systematically investigate the robustness of reasoning LLMs by introducing a suite of semantically faithful yet adversarially structured prompt perturbations. Our evaluation — spanning 700 perturbed code generations derived from LeetCode-style problems — applies transformations such as storytelling reframing, irrelevant constraint injection, example reordering, and numeric perturbation. We observe that while certain modifications severely degrade performance (with accuracy drops up to -42.1%), others surprisingly improve model accuracy by up to 35.3%, suggesting sensitivity not only to semantics but also to surface-level prompt dynamics. These findings expose the fragility and unpredictability of current reasoning systems, underscoring the need for more principles approaches to reasoning alignments and prompting robustness. We release our perturbation datasets and evaluation framework to promote further research in trustworthy and resilient LLM reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google