OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning

要約

事前トレーニングされた大規模言語モデルの驚くべきパフォーマンスは、さまざまな自然言語処理アプリケーションに革命をもたらしました。
パラメータサイズが膨大でランニングコストが膨大なため、企業や組織はゼロショット プロンプト手法によってモデルをターゲット タスクに転送する傾向があります。
しかし、トークンにかかるコストと時間が法外に高いため、アプリケーションでの採用が妨げられています。
私たちは、LLM のインコンテキスト学習機能を活用して複数のタスク入力を処理し、それによってトークンと時間のコストを削減する OverPrompt を提案します。
このアプローチでは、条件付き分散マッピングが改善されるため、API クエリ中のタスクのパフォーマンスが向上する可能性があります。
さまざまな分類データセットにわたって評価された私たちの実験では、OverPrompt がタスクのパフォーマンスに大きな悪影響を与えることなく、場合によってはパフォーマンスを向上させることなく、コスト効率の高いゼロショット分類を達成できることが示されました。
さまざまな LLM に対して実施されたアブレーション研究は、さまざまな入力順序に対するプロンプト戦略の堅牢性に関する調査とともに、さまざまなタスクにわたる当社のメソッドのより広範な適用可能性についての貴重な洞察を提供します。
これらの発見は、API を介して私たちのメソッドと LLM がよりシームレスに統合されることも示唆しています。

要約(オリジナル)

The remarkable performance of pre-trained large language models has revolutionised various natural language processing applications. Due to huge parametersizes and extensive running costs, companies or organisations tend to transfer the models to the target task by zero-shot prompting techniques. However, the prohibitive costs of tokens and time have hindered their adoption in applications. We propose OverPrompt, leveraging the in-context learning capability of LLMs to handle multiple task inputs, thereby reducing token and time costs. This approach could potentially improve task performance during API queries due to better conditional distribution mapping. Evaluated across diverse classification datasets, our experiments show that OverPrompt can achieve cost-efficient zero-shot classification without causing significant detriment to task performance, and in some cases, even improving it. An ablation study conducted on various LLMs, along with an investigation into the robustness of our prompting strategy to different input ordering, offers valuable insights into the broader applicability of our method across diverse tasks. These findings also suggest a more seamless integration of our method with LLMs through an API.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google