要約
生成AIの評価と比較のための一般的な方法は、仮想的な代表的な個人に役立つ応答を奨励するものである。このような観点でモデルを評価することは、母集団全体の嗜好が均質であることを前提とし、個人間の多様な関心を表現できない凝集型AIを選択させることになる。その代わりに、集団の特定のセグメントに対する応答のカスタマイズだけでなく、効用を最大化する決定のために必要な知識を証明的に保持する包括的AIを優先する代替評価法を提案する。
要約(オリジナル)
Prevailing methods for assessing and comparing generative AIs incentivize responses that serve a hypothetical representative individual. Evaluating models in these terms presumes homogeneous preferences across the population and engenders selection of agglomerative AIs, which fail to represent the diverse range of interests across individuals. We propose an alternative evaluation method that instead prioritizes inclusive AIs, which provably retain the requisite knowledge not only for subsequent response customization to particular segments of the population but also for utility-maximizing decisions.
arxiv情報
著者 | Dilip Arumugam,Shi Dong,Benjamin Van Roy |
発行日 | 2023-03-03 18:29:38+00:00 |
arxivサイト | arxiv_id(pdf) |