ConCodeEval: Evaluating Large Language Models for Code Constraints in Domain-Specific Languages

要約

最近の研究では、大規模言語モデル (LLM) が、ゼロショットおよび少数ショット設定でのさまざまなテキスト生成タスクの自然言語制約を理解するのに苦労していることが示されています。
一方、コード ドメインでは、企業のシステム レベルのプログラミング タスクに広く使用されている JSON や YAML などのドメイン固有言語 (DSL) で記述されたコードの整合性を維持するために、コード形式の制約が広く使用されています。
LLM がシステム レベルのコード タスクに使用されることが増えていることを考えると、LLM がこれらのコードの制約を理解できるかどうかを評価することが重要です。
ただし、コード制約に対する制御性を評価する作業は行われていません。
そこで、5 つの表現にわたるコード制約に対する 2 つの新しいタスクを備えた、この種初のベンチマークである ConCodeEval を紹介します。
私たちの調査結果は、言語モデルがコードの制約に苦戦していることを示唆しています。
通常のコード タスクでは優れたパフォーマンスを発揮するコード言語でも、同じ言語が細かい制約を表す場合にはパフォーマンスが低下します。

要約(オリジナル)

Recent work shows Large Language Models (LLMs) struggle to understand natural language constraints for various text generation tasks in zero- and few-shot settings. While, in the code domain, there is wide usage of constraints in code format to maintain the integrity of code written in Domain-Specific Languages (DSLs) like JSON and YAML which are widely used for system-level programming tasks in enterprises. Given that LLMs are increasingly used for system-level code tasks, evaluating if they can comprehend these code constraints is crucial. However, no work has been done to evaluate their controllability over code constraints. Hence, we introduce ConCodeEval, a first-of-its-kind benchmark having two novel tasks for code constraints across five representations. Our findings suggest that language models struggle with code constraints. Code languages that perform excellently for normal code tasks do not perform well when the same languages represent fine-grained constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google