LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools

要約

一回限りの説明ではユーザーに十分な情報を提供できない場合があるため、対話形式で説明を提供する解釈ツールはユーザーの理解を促進する効果があることが実証されています。
しかし、対話ベースの説明のための現在のソリューションは多くの依存関係を必要とし、設計されていないタスクに簡単に移行することはできません。
LLMCheckup では、ユーザーが最先端の大規模言語モデル (LLM) の動作についてチャットできる、簡単にアクセスできるツールを提供します。
LLM を広範囲の Explainable AI (XAI) ツールと接続することで、LLM がすべての説明を自分で生成し、微調整することなく意図認識を処理できるようにします。
特徴の帰属、埋め込みベースの類似性、反事実と根拠を生成するための戦略を促します。
LLM (自己) 説明は、フォローアップの質問をサポートし、提案を生成する対話型のダイアログとして表示されます。
LLMCheckup は、XAI のさまざまなレベルの専門知識を持つ個人に対応する、システムで利用可能な操作のチュートリアルを提供し、複数の入力方式をサポートします。
マルチプロンプト解析と呼ばれる新しい解析戦略を導入し、LLM の解析精度を大幅に向上させます。
最後に、事実確認と常識的な質問に答えるタスクを紹介します。

要約(オリジナル)

Interpretability tools that offer explanations in the form of a dialogue have demonstrated their efficacy in enhancing users’ understanding, as one-off explanations may occasionally fall short in providing sufficient information to the user. Current solutions for dialogue-based explanations, however, require many dependencies and are not easily transferable to tasks they were not designed for. With LLMCheckup, we present an easily accessible tool that allows users to chat with any state-of-the-art large language model (LLM) about its behavior. We enable LLMs to generate all explanations by themselves and take care of intent recognition without fine-tuning, by connecting them with a broad spectrum of Explainable AI (XAI) tools, e.g. feature attributions, embedding-based similarity, and prompting strategies for counterfactual and rationale generation. LLM (self-)explanations are presented as an interactive dialogue that supports follow-up questions and generates suggestions. LLMCheckup provides tutorials for operations available in the system, catering to individuals with varying levels of expertise in XAI and supports multiple input modalities. We introduce a new parsing strategy called multi-prompt parsing substantially enhancing the parsing accuracy of LLMs. Finally, we showcase the tasks of fact checking and commonsense question answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google