Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges

要約

生成言語モデルの人気が高まるにつれて、モデルの出力をガイドする対話型の方法への関心が高まっています。
迅速な改良は、これらの方法の中で出力に影響を与える最も効果的な手段の 1 つであると考えられています。
私たちは、大規模な言語モデルのプロンプトに関連するいくつかの課題を特定し、データおよびモデル固有の課題、言語的課題、および社会言語的課題に分類しました。
これらの問題に対処するには、次点候補とそれに対応する確率を含むモデル出力の包括的な検査が必要です。
モデル出力をサンプリングするための一般的なアルゴリズムであるビーム検索ツリーは、本質的にこの情報を提供できます。
その結果、ビーム探索ツリーを調査するための対話型の視覚的方法を導入し、生成中にモデルによって行われた決定の分析を容易にします。
ビーム探索ツリーを公開する価値を定量的に示し、特定された課題に対処する 5 つの詳細な分析シナリオを示します。
私たちの方法論は既存の結果を検証し、追加の洞察を提供します。

要約(オリジナル)

The growing popularity of generative language models has amplified interest in interactive methods to guide model outputs. Prompt refinement is considered one of the most effective means to influence output among these methods. We identify several challenges associated with prompting large language models, categorized into data- and model-specific, linguistic, and socio-linguistic challenges. A comprehensive examination of model outputs, including runner-up candidates and their corresponding probabilities, is needed to address these issues. The beam search tree, the prevalent algorithm to sample model outputs, can inherently supply this information. Consequently, we introduce an interactive visual method for investigating the beam search tree, facilitating analysis of the decisions made by the model during generation. We quantitatively show the value of exposing the beam search tree and present five detailed analysis scenarios addressing the identified challenges. Our methodology validates existing results and offers additional insights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google