Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting

要約

多様なテキストを生成する機能は、大規模言語モデル (LLM) が直面する重要な課題です。
これまで、多様性は $n$-gram の多様性や BERT 埋め込みの多様性などの指標を通じて研究されてきました。
ただし、この種の多様性の場合、ユーザーは多様性を考慮する次元をほとんど制御できません。
たとえば、詩の領域では韻と韻律の観点から多様性を望むかもしれませんが、コードの領域では問題を解決するために使用される表現の種類の観点から多様性を望むかもしれません。
私たちは、構造的多様性と呼ばれる多様性メトリックを提案します。この指標では、ユーザーは、生成されたテキストから、関心のある種類の多様性を捕捉する特徴へのマッピングを提供します。
さらに、我々は、最初に LLM に構造的特徴の 1 つのインスタンスをエンコードする仕様を生成させ、次に LLM にこれらの特徴を満たすテキストを生成するよう促すことで、多様性の向上を促す仕様連鎖 (CoS) と呼ばれる新しい戦略を提案します。
特に、私たちの戦略はブラックボックス LLM で機能します。
私たちの実験では、詩とコードのドメインの構造的多様性に関して、CoS がいくつかのベースラインと比較して多様性を大幅に改善することを示しました。

要約(オリジナル)

The capability to generate diverse text is a key challenge facing large language models (LLMs). Thus far, diversity has been studied via metrics such as $n$-gram diversity or diversity of BERT embeddings. However, for these kinds of diversity, the user has little control over the dimensions along which diversity is considered. For example, in the poetry domain, one might desire diversity in terms of rhyme and meter, whereas in the code domain, one might desire diversity in terms of the kinds of expressions used to solve a problem. We propose a diversity metric called structural diversity, where the user provides a mapping from generated text to features capturing the kinds of diversity that they care about. In addition, we propose a novel strategy called chain-of-specification (CoS) prompting for improving diversity by first having the LLM generate a specification encoding one instance of structural features, and then prompting the LLM to generate text that satisfies these features; notably, our strategy works with blackbox LLMs. In our experiments, we show that for structural diversity in the poetry and code domains, CoS significantly improves diversity compared to several baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google