MoTCoder: Elevating Large Language Models with Modular of Thought for Challenging Programming Tasks

要約

大規模言語モデル (LLM) は、単純なプログラミング タスクを処理する際に優れた機能を示しています。
ただし、より困難なプログラミングの問題に直面すると、パフォーマンスが低下する傾向があります。
従来のモデルはモノリシックなコード ブロックとしてソリューションを生成することが多く、複雑な問題に取り組む際の有効性が制限されていることがわかりました。
この制限を克服するために、Modular-of-Thought Coder (MoTCoder) を紹介します。
タスクを論理サブタスクとサブモジュールに分解することを促進するように設計された、MoT 命令チューニングの先駆的なフレームワークを紹介します。
私たちの調査では、サブモジュールの育成と利用を通じて、MoTCoder が生成されたソリューションのモジュール性と正確性の両方を大幅に向上させ、APPS で 12.9%、CodeContests で 9.43% という実質的な相対 pass@1 改善につながっていることが明らかになりました。
コードは https://github.com/dvlab-research/MoTCoder で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have showcased impressive capabilities in handling straightforward programming tasks. However, their performance tends to falter when confronted with more challenging programming problems. We observe that conventional models often generate solutions as monolithic code blocks, restricting their effectiveness in tackling intricate questions. To overcome this limitation, we present Modular-of-Thought Coder (MoTCoder). We introduce a pioneering framework for MoT instruction tuning, designed to promote the decomposition of tasks into logical sub-tasks and sub-modules. Our investigations reveal that, through the cultivation and utilization of sub-modules, MoTCoder significantly improves both the modularity and correctness of the generated solutions, leading to substantial relative pass@1 improvements of 12.9% on APPS and 9.43% on CodeContests. Our codes are available at https://github.com/dvlab-research/MoTCoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google