Towards ethical multimodal systems

要約

タイトル：倫理的なマルチモーダルシステムに向けて
要約：
– AIシステムは、ChatGPTのような精神保健治療アプリでのテストや、Stable Diffusionのような芸術作品の生成で人間を上回る性能を発揮し、社会への影響が高まっている。
– AIシステムの行動や応用に関する倫理的な懸念が増大しており、AIの行動を人間の価値に合致するように誘導するAIアライメントについての研究が急速に進んでいる。
– 本論文では、テキストと画像を入力として完了した文章や回答を出力するマルチモーダル人工知能システムの倫理的評価に関する課題について取り上げている。
– マルチモーダルの倫理的なデータベースを作成し、そのデータベースを使用して道徳的な評価アルゴリズムを構築することで、これらのモデルの評価を行う。
– ユーザーは複数の例を提示され、それが倫理的かどうかに投票するよう促され、これらの回答が集計されたデータセットを作成する。
– その後、RoBERTa-large分類器と多層パーセプトロン分類器による、マルチモーダルシステムの倫理的評価の自動化に向けた異なるアルゴリズムを構築・テストする。

要約(オリジナル)

The impact of artificial intelligence systems on our society is increasing at an unprecedented speed. For instance, ChatGPT is being tested in mental health treatment applications such as Koko, Stable Diffusion generates pieces of art competitive with (or outperforming) human artists, and so on. Ethical concerns regarding the behavior and applications of generative AI systems have been increasing over the past years, and the field of AI alignment – steering the behavior of AI systems towards being aligned with human values – is a rapidly growing subfield of modern AI. In this paper, we address the challenges involved in ethical evaluation of a multimodal artificial intelligence system. The multimodal systems we focus on take both text and an image as input and output text, completing the sentence or answering the question asked as input. We perform the evaluation of these models in two steps: we first discus the creation of a multimodal ethical database and then use this database to construct morality-evaluating algorithms. The creation of the multimodal ethical database is done interactively through human feedback. Users are presented with multiple examples and votes on whether they are ethical or not. Once these answers have been aggregated into a dataset, we built and tested different algorithms to automatically evaluate the morality of multimodal systems. These algorithms aim to classify the answers as ethical or not. The models we tested are a RoBERTa-large classifier and a multilayer perceptron classifier.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI