Exploring the Curious Case of Code Prompts

要約

タイトル：Code Promptsの奇妙なケースを探る

要約：

-最近の研究によれば、自然言語のコード様の表現を使って言語モデルにプロンプトを指示すると、構造化推論タスクのパフォーマンスが向上することが示されています。
-しかし、そのようなタスクは、すべての自然言語タスクのごく一部に過ぎません。
-この研究では、コードプロンプトが一般的に言語モデルとやり取りする好ましい方法であるかどうかを調査します。
-テキストプロンプトとコードプロンプトを、広範な選択のタスクにおいて3つの人気のあるGPTモデル（davinci、code-davinci-002、text-davinci-002）で比較し、コードプロンプトは、一部の例外を除いて常にテキストプロンプトよりも優れているわけではないことがわかりました。
-さらに、コードプロンプトのスタイルが、すべてのタスクに対してではないものの、いくつかのタスクのパフォーマンスに大きな影響を与えることを示し、テキスト指示の微調整がコードプロンプトの相対的パフォーマンスを向上させることを示しました。

要約(オリジナル)

Recent work has shown that prompting language models with code-like representations of natural language leads to performance improvements on structured reasoning tasks. However, such tasks comprise only a small subset of all natural language tasks. In our work, we seek to answer whether or not code-prompting is the preferred way of interacting with language models in general. We compare code and text prompts across three popular GPT models (davinci, code-davinci-002, and text-davinci-002) on a broader selection of tasks (e.g., QA, sentiment, summarization) and find that with few exceptions, code prompts do not consistently outperform text prompts. Furthermore, we show that the style of code prompt has a large effect on performance for some but not all tasks and that fine-tuning on text instructions leads to better relative performance of code prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI