Compositional Hardness of Code in Large Language Models — A Probabilistic Perspective

要約

コード生成などの複雑な分析タスクで大規模言語モデル (LLM) を使用する場合の一般的な方法は、モデルのコンテキスト ウィンドウ内でタスク全体のソリューションをサンプリングすることです。
これまでの研究では、モデルのコンテキスト (思考の連鎖) 内でのサブタスクの分解が、そのようなタスクを解決するのに有益であることが示されています。
この研究では、同じコンテキスト ウィンドウ内で複数のサブタスクを実行する LLM の能力の制限、つまりコンテキスト内の構成の硬さを指摘し、LLM のマルチエージェント システムで分解された問題を分散する利点を指摘します。
組成の硬さは、世代の複雑さの指標、つまり、少なくとも 1 つの正しい解決策をサンプリングするのに必要な LLM 世代の数によって定量化されます。
同じコンテキスト内で構成的な問題を解決する場合の生成の複雑さには、それを複数のエージェントに分散する場合と比べてギャップがあり、このギャップは解決策の長さに応じて指数関数的に増大することがわかります。
私たちは結果を理論的に証明し、経験的に実証します。

要約(オリジナル)

A common practice in large language model (LLM) usage for complex analytical tasks such as code generation, is to sample a solution for the entire task within the model’s context window. Previous works have shown that subtask decomposition within the model’s context (chain of thought), is beneficial for solving such tasks. In this work, we point a limitation of LLMs’ ability to perform several sub-tasks within the same context window – an in-context hardness of composition, pointing to an advantage for distributing a decomposed problem in a multi-agent system of LLMs. The hardness of composition is quantified by a generation complexity metric, i.e., the number of LLM generations required to sample at least one correct solution. We find a gap between the generation complexity of solving a compositional problem within the same context relative to distributing it among multiple agents, that increases exponentially with the solution’s length. We prove our results theoretically and demonstrate them empirically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google