DORY: Deliberative Prompt Recovery for LLM

要約

大規模言語モデル (LLM) での迅速なリカバリは、LLM の仕組みを理解し、プライバシーや著作権などに関する懸念に対処するために非常に重要です。推論のみの API への傾向により、リカバリに必要な出力へのアクセスが制限されるため、このタスクが複雑になります。
この課題に取り組むために、限られた出力からプロンプト関連情報を抽出し、出力の確率に基づく不確実性とプロンプト回復の成功との間の強い（負の）相関関係を特定します。
この発見は、不確実性を利用してプロンプトを正確に復元する新しいアプローチである、Deliberative PrOmpt RecoverY (DORY) の開発につながりました。
DORY には、出力からドラフトを再構築し、ヒントを使用してこれらを洗練し、不確実性に基づいてノイズを除去することが含まれます。
さまざまな LLM とプロンプト ベンチマークにわたる評価では、DORY が既存のベースラインを上回っており、パフォーマンスが約 10.82% 向上し、プロンプト リカバリ タスクにおける新しい最先端の記録を確立していることが示されています。
重要な点は、DORY は外部リソースやモデルを使用せずに単一の LLM を使用して動作し、コスト効率が高く、ユーザーフレンドリーな即時復旧ソリューションを提供することです。

要約(オリジナル)

Prompt recovery in large language models (LLMs) is crucial for understanding how LLMs work and addressing concerns regarding privacy, copyright, etc. The trend towards inference-only APIs complicates this task by restricting access to essential outputs for recovery. To tackle this challenge, we extract prompt-related information from limited outputs and identify a strong(negative) correlation between output probability-based uncertainty and the success of prompt recovery. This finding led to the development of Deliberative PrOmpt RecoverY (DORY), our novel approach that leverages uncertainty to recover prompts accurately. DORY involves reconstructing drafts from outputs, refining these with hints, and filtering out noise based on uncertainty. Our evaluation across diverse LLMs and prompt benchmarks shows that DORY outperforms existing baselines, improving performance by approximately 10.82% and establishing a new state-of-the-art record in prompt recovery tasks. Significantly, DORY operates using a single LLM without any external resources or model, offering a cost-effective, user-friendly prompt recovery solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google