LLMMaps — A Visual Metaphor for Stratified Evaluation of Large Language Models

要約

大規模言語モデル (LLM) は自然言語処理に革命をもたらし、さまざまなタスクで優れた機能を実証しました。
残念なことに、モデルはその応答で不正確または虚偽の情報を暴露する幻覚に見舞われる傾向があり、そのため入念な評価アプローチが必須となります。
特定の知識分野における LLM のパフォーマンスは、質問と回答 (Q&A) データセットに基づいて評価されることがよくありますが、そのような評価では通常、分野全体について 1 つの精度数値しか報告されず、この手順には透明性とモデルの改善の点で問題があります。
層別評価は、代わりに、幻覚が発生する可能性がより高いサブフィールドを明らかにし、LLM のリスクをより適切に評価し、さらなる開発を導くのに役立つ可能性があります。
このような層別評価をサポートするために、ユーザーが Q&A データセットに関して LLM のパフォーマンスを評価できるようにする新しい視覚化手法として LLMMaps を提案します。
LLMMap は、Q&A データセットと LLM 応答を内部知識構造に変換することにより、さまざまなサブフィールドにおける LLM の知識能力についての詳細な洞察を提供します。
さらに、比較視覚化の拡張により、複数の LLM の詳細な比較が可能になります。
LLMMap を評価するために、LLMMap を使用して、BLOOM、GPT-2、GPT-3、ChatGPT、LLaMa-13B などのいくつかの最先端の LLM の比較分析と、2 つの定性的なユーザー評価を実施します。
科学出版物などで使用される LLMMap の生成に必要なすべてのソース コードとデータは、GitHub で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing and demonstrated impressive capabilities in various tasks. Unfortunately, they are prone to hallucinations, where the model exposes incorrect or false information in its responses, which renders diligent evaluation approaches mandatory. While LLM performance in specific knowledge fields is often evaluated based on question and answer (Q&A) datasets, such evaluations usually report only a single accuracy number for the entire field, a procedure which is problematic with respect to transparency and model improvement. A stratified evaluation could instead reveal subfields, where hallucinations are more likely to occur and thus help to better assess LLMs’ risks and guide their further development. To support such stratified evaluations, we propose LLMMaps as a novel visualization technique that enables users to evaluate LLMs’ performance with respect to Q&A datasets. LLMMaps provide detailed insights into LLMs’ knowledge capabilities in different subfields, by transforming Q&A datasets as well as LLM responses into our internal knowledge structure. An extension for comparative visualization furthermore, allows for the detailed comparison of multiple LLMs. To assess LLMMaps we use them to conduct a comparative analysis of several state-of-the-art LLMs, such as BLOOM, GPT-2, GPT-3, ChatGPT and LLaMa-13B, as well as two qualitative user evaluations. All necessary source code and data for generating LLMMaps to be used in scientific publications and elsewhere will be available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google