AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models

要約

大規模言語モデル (LLM) はますます強力になってきていますが、命令に従うタスクやコーディング タスクにおける間違いなど、重大ではあるものの微妙な弱点が依然として存在します。
これらの予期しないエラーは実際の展開において重大な結果を招く可能性があるため、LLM 内の制限を体系的に調査することが重要です。
従来のベンチマーク手法では、特定のモデルの欠陥を完全に特定することはできませんが、手動検査はコストがかかり、拡張性がありません。
このペーパーでは、さまざまなタスクにわたる LLM の弱点を自動的に明らかにするための統合フレームワーク AutoDetect を紹介します。
AutoDetect は、学生の学習成果を測定する教育評価プロセスにヒントを得て、LLM を利用した 3 つのエージェント (試験官、質問者、評価者) で構成されています。
これら 3 つのエージェント間の連携は、包括的かつ詳細な弱点の特定を実現するように設計されています。
私たちのフレームワークは、ChatGPT や Claude などの著名なモデルで 30% を超える識別成功率を示し、欠陥の発見に大きな成功を収めています。
さらに重要なのは、これらの特定された弱点が特定のモデルの改善につながり、Self-Instruct のような対象を絞らないデータ拡張手法よりも効果的であることが証明されているということです。
私たちのアプローチにより、Llama シリーズや Mistral-7b などの人気の LLM が大幅に強化され、いくつかのベンチマークでパフォーマンスが 10% 以上向上しました。
コードとデータは https://github.com/thu-coai/AutoDetect で公開されています。

要約(オリジナル)

Although Large Language Models (LLMs) are becoming increasingly powerful, they still exhibit significant but subtle weaknesses, such as mistakes in instruction-following or coding tasks. As these unexpected errors could lead to severe consequences in practical deployments, it is crucial to investigate the limitations within LLMs systematically. Traditional benchmarking approaches cannot thoroughly pinpoint specific model deficiencies, while manual inspections are costly and not scalable. In this paper, we introduce a unified framework, AutoDetect, to automatically expose weaknesses in LLMs across various tasks. Inspired by the educational assessment process that measures students’ learning outcomes, AutoDetect consists of three LLM-powered agents: Examiner, Questioner, and Assessor. The collaboration among these three agents is designed to realize comprehensive and in-depth weakness identification. Our framework demonstrates significant success in uncovering flaws, with an identification success rate exceeding 30% in prominent models such as ChatGPT and Claude. More importantly, these identified weaknesses can guide specific model improvements, proving more effective than untargeted data augmentation methods like Self-Instruct. Our approach has led to substantial enhancements in popular LLMs, including the Llama series and Mistral-7b, boosting their performance by over 10% across several benchmarks. Code and data are publicly available at https://github.com/thu-coai/AutoDetect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google