Explaining Competitive-Level Programming Solutions using LLMs

要約

この論文では、競技レベルのプログラミングの問題解決を、推論とコード生成の複合タスクとしてアプローチします。
我々は、自然言語による説明を \textit{<問題、解決策>} ペアに自動的に注釈を付ける新しい方法を提案します。
私たちは、最先端の LLM は、競技レベルのプログラミング問題を解決する能力が低いにもかかわらず、解決策を記述し説明する能力が高いことを示します。
私たちの説明生成方法論は、説明と分析を含む問題に対する構造化された解決策の説明を生成できます。
注釈付きの説明の品質を評価するために、1) オラクル ソリューションを作成したヒューマン プログラミングの専門家を満足させる、2) LLM がより効果的に問題を解決するのを支援する、という 2 つの側面でその有効性を検証します。
CodeContests データセットの実験結果は、LLM GPT3.5 と GPT-4 のソリューションを記述する能力は同等である一方で、GPT-4 の方がソリューションの背後にある重要なアイデアをよりよく理解していることを示しています。

要約(オリジナル)

In this paper, we approach competitive-level programming problem-solving as a composite task of reasoning and code generation. We propose a novel method to automatically annotate natural language explanations to \textit{} pairs. We show that despite poor performance in solving competitive-level programming problems, state-of-the-art LLMs exhibit a strong capacity in describing and explaining solutions. Our explanation generation methodology can generate a structured solution explanation for the problem containing descriptions and analysis. To evaluate the quality of the annotated explanations, we examine their effectiveness in two aspects: 1) satisfying the human programming expert who authored the oracle solution, and 2) aiding LLMs in solving problems more effectively. The experimental results on the CodeContests dataset demonstrate that while LLM GPT3.5’s and GPT-4’s abilities in describing the solution are comparable, GPT-4 shows a better understanding of the key idea behind the solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google