CodeSCM: Causal Analysis for Multi-Modal Code Generation

要約

この論文では、大規模な言語モデル（LLMS）を使用してマルチモーダルコード生成を分析するための構造因果モデル（SCM）であるCodesCMを提案します。
介入をCODESCMに適用することにより、モデルに対する自然言語、コード、入出力の例など、さまざまな迅速なモダリティの因果効果を測定します。
CODESCMは、潜在的なメディエーター変数を導入して、マルチモーダルコード生成プロンプトのコードと自然言語セマンティクスを分離します。
これらのメディエーターで因果調停分析の原理を使用して、モデルの偽の傾向を表す直接的な効果を定量化します。
自然言語の指示に加えて、入出力の例はコード生成に大きく影響することがわかります。

要約(オリジナル)

In this paper, we propose CodeSCM, a Structural Causal Model (SCM) for analyzing multi-modal code generation using large language models (LLMs). By applying interventions to CodeSCM, we measure the causal effects of different prompt modalities, such as natural language, code, and input-output examples, on the model. CodeSCM introduces latent mediator variables to separate the code and natural language semantics of a multi-modal code generation prompt. Using the principles of Causal Mediation Analysis on these mediators we quantify direct effects representing the model’s spurious leanings. We find that, in addition to natural language instructions, input-output examples significantly influence code generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google