The Counterfeit Conundrum: Can Code Language Models Grasp the Nuances of Their Incorrect Generations?

要約

言語モデルはコード生成においてますます熟練してきていますが、依然として誤ったプログラムを生成することがよくあります。
これらのプログラムの多くは明らかに間違っていますが、その他のプログラムはより微妙で、コンパイルできるかどうかなどの弱い正当性チェックに合格します。
この研究では、これらの偽造サンプルに焦点を当てます。つまり、1) 適度な温度で生成されるのに十分な高い対数確率を持ち、2) 弱い正当性チェックに合格する、言語モデルからサンプリングされたプログラムです。
全体として、ほとんどのモデルは 3 つの明確な故障モードを通じて、偽造品についての理解が非常に浅いことがわかりました。
まず、モデルが誤って正しいものとして分類します。
第 2 に、モデルは偽造品の実行動作についての推論が苦手であり、多くの場合、偽造品の実行結果をあたかも正しいかのように予測します。
第三に、モデルに偽造品の修復を依頼する場合、モデルが偽造品を修復できる可能性は、正しいプログラムを最初からサンプリングする場合よりもさらに低いことがよくあります。
偽造品には、非常に予期せぬ特性もあります。まず、モデルが解決しやすい問題を解決する偽造プログラムは、必ずしも検出しやすいわけではなく、実行と修復がわずかに簡単であるだけです。
第二に、特定のモデルの偽造品は、他のモデルと同様に、そのモデル自体にとっても混乱を招きます。
最後に、強力なモデルと弱いモデルの両方が、すべてのモデルに等しく挑戦する偽造サンプルを生成することができます。
私たちの調査結果を踏まえて、モデル自身のサンプルを理解するためにモデルに依存する場合、特に外部フィードバックが組み込まれていない場合には、細心の注意を払うことをお勧めします。

要約(オリジナル)

While language models are increasingly more proficient at code generation, they still frequently generate incorrect programs. Many of these programs are obviously wrong, but others are more subtle and pass weaker correctness checks such as being able to compile. In this work, we focus on these counterfeit samples: programs sampled from a language model that 1) have a high enough log-probability to be generated at a moderate temperature and 2) pass weak correctness checks. Overall, we discover that most models have a very shallow understanding of counterfeits through three clear failure modes. First, models mistakenly classify them as correct. Second, models are worse at reasoning about the execution behaviour of counterfeits and often predict their execution results as if they were correct. Third, when asking models to fix counterfeits, the likelihood of a model successfully repairing a counterfeit is often even lower than that of sampling a correct program from scratch. Counterfeits also have very unexpected properties: first, counterfeit programs for problems that are easier for a model to solve are not necessarily easier to detect and only slightly easier to execute and repair. Second, counterfeits from a given model are just as confusing to the model itself as they are to other models. Finally, both strong and weak models are able to generate counterfeit samples that equally challenge all models. In light of our findings, we recommend that care and caution be taken when relying on models to understand their own samples, especially when no external feedback is incorporated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google