LLMMaps — A Visual Metaphor for Stratified Evaluation of Large Language Models

要約

タイトル：LLMMaps – 大規模言語モデルの階層的評価のためのビジュアルメタファー

要約：
– 大規模言語モデル（LLM）は、自然言語処理を革新し、さまざまなタスクで印象的な能力を示している。
– しかし、LLMは幻覚に陥ることがあり、モデルが誤った情報を示すため、注意深い評価アプローチが必要。
– 特定の知識分野でのLLMのパフォーマンスは、質問と回答のデータセットに基づいて評価されることが多いが、この評価手法は透明性やモデルの改善に問題がある。
– 階層的評価により、幻覚がより起こりやすいサブフィールドを特定し、LLMのリスクをより正確に評価し、開発を指導することができる。
– 本論文では、LLMMapsを提案し、これはQ＆Aデータセットに基づいてLLMのパフォーマンスを評価するための新しい視覚化技術である。
– LLMMapsは、Q＆AデータセットとLLMの応答を内部的な知識構造に変換することによって、異なるサブフィールドにおけるLLMの知識能力について詳細な洞察を提供する。
– 比較的な視覚化の拡張機能により、複数のLLMの詳細な比較も可能。
– LLMMapsを評価するために、いくつかの最新のLLM（BLOOM、GPT-2、GPT-3、ChatGPT、LLaMa-13B）の比較分析を実施し、2つの定性的なユーザー評価も行った。
– 科学的な出版物などで使用するためのLLMMapsの生成に必要なすべてのソースコードとデータは、GitHubで利用可能となる。

要約(オリジナル)

Large Language Models (LLMs) have revolutionized natural language processing and demonstrated impressive capabilities in various tasks. Unfortunately, they are prone to hallucinations, where the model exposes incorrect or false information in its responses, which renders diligent evaluation approaches mandatory. While LLM performance in specific knowledge fields is often evaluated based on question and answer (Q&A) datasets, such evaluations usually report only a single accuracy number for the entire field, a procedure which is problematic with respect to transparency and model improvement. A stratified evaluation could instead reveal subfields, where hallucinations are more likely to occur and thus help to better assess LLMs’ risks and guide their further development. To support such stratified evaluations, we propose LLMMaps as a novel visualization technique that enables users to evaluate LLMs’ performance with respect to Q&A datasets. LLMMaps provide detailed insights into LLMs’ knowledge capabilities in different subfields, by transforming Q&A datasets as well as LLM responses into our internal knowledge structure. An extension for comparative visualization furthermore, allows for the detailed comparison of multiple LLMs. To assess LLMMaps we use them to conduct a comparative analysis of several state-of-the-art LLMs, such as BLOOM, GPT-2, GPT-3, ChatGPT and LLaMa-13B, as well as two qualitative user evaluations. All necessary source code and data for generating LLMMaps to be used in scientific publications and elsewhere will be available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI