What’s the Difference? Supporting Users in Identifying the Effects of Prompt and Model Changes Through Token Patterns

要約

大規模な言語モデルの迅速なエンジニアリングは挑戦的です。小さな迅速な摂動やモデルの変更でさえ、生成された出力テキストに大きな影響を与える可能性があるためです。
自動化されたメトリックまたは人間の評価のいずれかの既存の評価方法には、限られた洞察を提供したり、労働集約的であるなど、制限があります。
Spotlightを提案します。これは、自動化と人間の分析の両方を組み合わせた新しいアプローチです。
データマイニング手法に基づいて、ランダム（デコード）の変動と言語モデルの出力の系統的な違いを自動的に区別します。
このプロセスは、体系的な違いを説明するトークンパターンを提供し、ユーザーがプロンプトとモデルの変化の効果の効果を手動で分析するように導きます。
3つのベンチマークを作成して、トークンパターン抽出方法の信頼性を定量的にテストし、確立された迅速なデータに関する新しい洞察を提供することを実証します。
人間中心の観点から、実証研究とユーザー調査を通じて、トークンパターンアプローチがユーザーが言語モデルの出力の体系的な違いを理解するのに役立つことを示し、迅速なモデルの変化とモデルの変化（例えば、ジェンダーや文化に関連する）によって引き起こされる関連する違いを発見することができます。

要約(オリジナル)

Prompt engineering for large language models is challenging, as even small prompt perturbations or model changes can significantly impact the generated output texts. Existing evaluation methods, either automated metrics or human evaluation, have limitations, such as providing limited insights or being labor-intensive. We propose Spotlight, a new approach that combines both automation and human analysis. Based on data mining techniques, we automatically distinguish between random (decoding) variations and systematic differences in language model outputs. This process provides token patterns that describe the systematic differences and guide the user in manually analyzing the effects of their prompt and model changes efficiently. We create three benchmarks to quantitatively test the reliability of token pattern extraction methods and demonstrate that our approach provides new insights into established prompt data. From a human-centric perspective, through demonstration studies and a user study, we show that our token pattern approach helps users understand the systematic differences of language model outputs, and we are able to discover relevant differences caused by prompt and model changes (e.g. related to gender or culture), thus supporting the prompt engineering process and human-centric model behavior research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google