ALI-Agent: Assessing LLMs’ Alignment with Human Values via Agent-based Evaluation

要約

大規模言語モデル (LLM) は、人間の価値観と一致しない場合、意図しない、さらには有害なコンテンツを引き出す可能性があり、ユーザーと社会に深刻なリスクをもたらします。
これらのリスクを軽減するために、現在の評価ベンチマークでは主に専門家が設計した状況に応じたシナリオを採用し、LLM が人間の価値観とどの程度一致しているかを評価しています。
ただし、これらのベンチマークは労働集約的な性質によりテスト範囲が制限され、オープンワールドの広範なユースケースに一般化して、まれではあるが重大なロングテール リスクを特定する能力が妨げられます。
さらに、これらの静的テストは LLM の急速な進化に適応できないため、タイムリーな調整の問題を評価することが困難になります。
これらの課題に対処するために、私たちは、LLM を利用したエージェントの自律的な能力を活用して、詳細かつ適応的な調整評価を実行する評価フレームワークである ALI-Agent を提案します。
ALI-Agent は、エミュレーションと洗練という 2 つの主要な段階を通じて動作します。
エミュレーション段階では、ALI-Agent は現実的なテスト シナリオの生成を自動化します。
調整段階では、シナリオを繰り返し調整してロングテール リスクを調査します。
具体的には、ALI-Agent には、テスト シナリオの生成をガイドするメモリ モジュール、ターゲット LLM からのフィードバックの評価などのタスクにおける人的労力を軽減するツール使用モジュール、テストを改良するためのアクション モジュールが組み込まれています。
人間の価値観の 3 つの側面 (固定観念、道徳、合法性) にわたる広範な実験により、ALI-Agent が一般的な評価フレームワークとしてモデルの不整合を効果的に特定できることが実証されました。
また、体系的な分析により、生成されたテスト シナリオが有意義なユースケースを表していることも検証され、ロングテール リスクを調査するための強化された対策が統合されています。
私たちのコードは https://github.com/SophieZheng998/ALI-Agent.git で入手できます。

要約(オリジナル)

Large Language Models (LLMs) can elicit unintended and even harmful content when misaligned with human values, posing severe risks to users and society. To mitigate these risks, current evaluation benchmarks predominantly employ expert-designed contextual scenarios to assess how well LLMs align with human values. However, the labor-intensive nature of these benchmarks limits their test scope, hindering their ability to generalize to the extensive variety of open-world use cases and identify rare but crucial long-tail risks. Additionally, these static tests fail to adapt to the rapid evolution of LLMs, making it hard to evaluate timely alignment issues. To address these challenges, we propose ALI-Agent, an evaluation framework that leverages the autonomous abilities of LLM-powered agents to conduct in-depth and adaptive alignment assessments. ALI-Agent operates through two principal stages: Emulation and Refinement. During the Emulation stage, ALI-Agent automates the generation of realistic test scenarios. In the Refinement stage, it iteratively refines the scenarios to probe long-tail risks. Specifically, ALI-Agent incorporates a memory module to guide test scenario generation, a tool-using module to reduce human labor in tasks such as evaluating feedback from target LLMs, and an action module to refine tests. Extensive experiments across three aspects of human values–stereotypes, morality, and legality–demonstrate that ALI-Agent, as a general evaluation framework, effectively identifies model misalignment. Systematic analysis also validates that the generated test scenarios represent meaningful use cases, as well as integrate enhanced measures to probe long-tail risks. Our code is available at https://github.com/SophieZheng998/ALI-Agent.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google