Beyond static AI evaluations: advancing human interaction evaluations for LLM harms and risks

要約

モデルの評価は、AI システムの安全性、リスク、社会的影響を理解する上で中心となります。
現実世界の AI アプリケーションのほとんどは人間と AI の相互作用を伴いますが、AI モデルの現在の評価 (一般的なベンチマークなど) のほとんどはそうではありません。
その代わりに、限られた方法で人的要因を組み込んでおり、モデルの安全性を個別に評価しているため、人体とモデルの相互作用の複雑さを捉えるには至っていません。
この論文では、人間とモデルの相互作用、またはモデルを使用した人間のプロセスと結果の評価に焦点を当てた、新しい評価カテゴリである「ヒューマン インタラクション評価」(HIE) の定義について議論し、運用化します。
まず、HIE は安全性評価の妥当性を高め、人間への直接的な影響と相互作用特有の危害を評価し、モデルの社会的影響の将来の評価を導くために使用できると主張します。
次に、人間と LLM の相互作用分類を含む、安全性を重視した HIE 設計フレームワークを提案します。次の 3 つの段階があります: (1) リスクまたは危害領域の特定、(2) 使用状況の特徴付け、(3) 使用環境の選択
評価パラメータ。
第三に、過剰依存と説得のリスクに関する 2 つの潜在的な評価にフレームワークを適用します。
最後に、HIE のコスト、複製可能性、非代表性に関する懸念に対処するための具体的な推奨事項で締めくくります。

要約(オリジナル)

Model evaluations are central to understanding the safety, risks, and societal impacts of AI systems. While most real-world AI applications involve human-AI interaction, most current evaluations (e.g., common benchmarks) of AI models do not. Instead, they incorporate human factors in limited ways, assessing the safety of models in isolation, thereby falling short of capturing the complexity of human-model interactions. In this paper, we discuss and operationalize a definition of an emerging category of evaluations — ‘human interaction evaluations’ (HIEs) — which focus on the assessment of human-model interactions or the process and the outcomes of humans using models. First, we argue that HIEs can be used to increase the validity of safety evaluations, assess direct human impact and interaction-specific harms, and guide future assessments of models’ societal impact. Second, we propose a safety-focused HIE design framework — containing a human-LLM interaction taxonomy — with three stages: (1) identifying the risk or harm area, (2) characterizing the use context, and (3) choosing the evaluation parameters. Third, we apply our framework to two potential evaluations for overreliance and persuasion risks. Finally, we conclude with tangible recommendations for addressing concerns over costs, replicability, and unrepresentativeness of HIEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google