ACES: Generating Diverse Programming Puzzles with Autotelic Language Models and Semantic Descriptors

要約

解決すべき新しくて興味深い問題を見つけて選択することは、好奇心、科学、イノベーションの中心です。
ここでは、Python プログラミング パズルのオープンエンド空間のコンテキストで自動問題生成を研究します。
既存の生成モデルは、多くの場合、明示的な多様性の最適化を行わずに参照分布をモデル化することを目的としています。
多様性を明示的に最適化する他の方法は、限られた手作業でコード化された表現空間、または興味深いバリエーションに対する人間の認識と一致しない可能性がある解釈不可能な学習された埋め込み空間のいずれかで最適化を行います。
ACES (セマンティック記述子によるオートテリック コード探索) では、大規模言語モデル (LLM) によって生成されたセマンティック記述子を活用して興味深い多様性を直接最適化する新しいオートテリック生成方法と、少数ショットベースの生成方法を導入します。
各パズルには 10 の次元に沿ってラベルが付けられており、それぞれがそれを解くために必要なプログラミング スキルを捉えています。
ACES は、その抽象的な意味空間を探索するための斬新で実現可能な目標を生成および追求し、特定の実行で解決可能なプログラミング パズルの多様性をゆっくりと発見します。
一連の実験を通じて、さまざまな多様性指標で測定したところ、ACES は既存の多様性最大化アルゴリズムよりも豊富なパズルの多様性を発見できることを示しました。
私たちはさらに、この多様性がパズル解決モデルのトレーニングに成功するかどうか、またどのような条件で成功するかを研究します。

要約(オリジナル)

Finding and selecting new and interesting problems to solve is at the heart of curiosity, science and innovation. We here study automated problem generation in the context of the open-ended space of python programming puzzles. Existing generative models often aim at modeling a reference distribution without any explicit diversity optimization. Other methods explicitly optimizing for diversity do so either in limited hand-coded representation spaces or in uninterpretable learned embedding spaces that may not align with human perceptions of interesting variations. With ACES (Autotelic Code Exploration via Semantic descriptors), we introduce a new autotelic generation method that leverages semantic descriptors produced by a large language model (LLM) to directly optimize for interesting diversity, as well as few-shot-based generation. Each puzzle is labeled along 10 dimensions, each capturing a programming skill required to solve it. ACES generates and pursues novel and feasible goals to explore that abstract semantic space, slowly discovering a diversity of solvable programming puzzles in any given run. Across a set of experiments, we show that ACES discovers a richer diversity of puzzles than existing diversity-maximizing algorithms as measured across a range of diversity metrics. We further study whether and in which conditions this diversity can translate into the successful training of puzzle solving models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google