HAIFAI: Human-AI Interaction for Mental Face Reconstruction

要約

ハイファイは、人間とAIが相互作用して、人の心にのみ存在する顔の視覚的表現を再構築するという挑戦的なタスクに取り組む新しい2段階システムです。
最初の段階では、ユーザーは、メンタルイメージとの類似性に基づいて、再構成システムが提示する画像を繰り返しランク付けします。
これらのランキングにより、システムは関連する画像機能を抽出し、それらを統合された機能ベクトルに融合し、生成モデルを使用してメンタルイメージの初期再構成を生成できます。
第2段階では、既存のフェイス編集方法を活用して、ユーザーが手動でこの再構成を改善し、さらに使用できるスライダーインターフェイスを使用して、顔の形状操作を使用してさらに改善できます。
再構成システムをトレーニングするための退屈な人間のデータ収集の必要性を回避するために、人間のランキング行動の計算ユーザーモデルを紹介します。
このために、275人の参加者からのデータを含むオンラインクラウドソーシング研究を通じて、小さなフェイスランキングデータセットを収集しました。
12人の参加者のユーザー調査でハイファイとアブレーションバージョンを評価し、私たちのアプローチが、再構成の品質、使いやすさ、知覚されたワークロード、再構成速度に関する以前のARTを上回ることを実証します。
さらに、18人の参加者との後続の顔ランキング研究の再構成を検証し、ハイファイが60.6％の新しい最先端の識別率を達成していることを示しています。
これらの調査結果は、ユーザーの精神的イメージを確実かつ楽に再構築できる新しいインタラクティブなインテリジェントシステムの開発に向けた重要な進歩を表しています。

要約(オリジナル)

We present HAIFAI – a novel two-stage system where humans and AI interact to tackle the challenging task of reconstructing a visual representation of a face that exists only in a person’s mind. In the first stage, users iteratively rank images our reconstruction system presents based on their resemblance to a mental image. These rankings, in turn, allow the system to extract relevant image features, fuse them into a unified feature vector, and use a generative model to produce an initial reconstruction of the mental image. The second stage leverages an existing face editing method, allowing users to manually refine and further improve this reconstruction using an easy-to-use slider interface for face shape manipulation. To avoid the need for tedious human data collection for training the reconstruction system, we introduce a computational user model of human ranking behaviour. For this, we collected a small face ranking dataset through an online crowd-sourcing study containing data from 275 participants. We evaluate HAIFAI and an ablated version in a 12-participant user study and demonstrate that our approach outperforms the previous state of the art regarding reconstruction quality, usability, perceived workload, and reconstruction speed. We further validate the reconstructions in a subsequent face ranking study with 18 participants and show that HAIFAI achieves a new state-of-the-art identification rate of 60.6%. These findings represent a significant advancement towards developing new interactive intelligent systems capable of reliably and effortlessly reconstructing a user’s mental image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google