Multiple Facial Reaction Generation in Dyadic Interaction Settings: What, Why and How?

要約

Stimulus Organism Response (SOR) 理論によると、すべての人間の行動反応は、受け取った刺激を処理して適切な反応を生み出すコンテキストによって刺激されます。
これは、与えられた入力刺激の特定のコンテキストでは、人は内部状態やその他のコンテキスト要因に応じて異なる反応を示す可能性があることを意味します.
同様に、ダイアディックな相互作用では、人間は言語的および非言語的合図を使用してコミュニケーションをとります。この場合、特定の話者の行動に対応するために、幅広い範囲の聞き手の非言語的反応が適切である可能性があります。
与えられた入力に対して適切な反応を自動的に生成する問題を調査した一連の研究が既に存在します。
ただし、二項相互作用のコンテキストで複数の適切な反応を自動的に生成し、客観的な尺度を使用してそれらの反応の適切性を評価しようとしたものはありません。
この論文では、最初に顔の複数の適切な反応生成 (fMARG) タスクを文献で初めて定義することから始め、生成された反応の適切性を評価するための新しい一連の客観的評価指標を提案します。
続いて、この論文では、複数の適切な顔の反応を予測、生成、評価するためのフレームワークを紹介します。

要約(オリジナル)

According to the Stimulus Organism Response (SOR) theory, all human behavioral reactions are stimulated by context, where people will process the received stimulus and produce an appropriate reaction. This implies that in a specific context for a given input stimulus, a person can react differently according to their internal state and other contextual factors. Analogously, in dyadic interactions, humans communicate using verbal and nonverbal cues, where a broad spectrum of listeners’ non-verbal reactions might be appropriate for responding to a specific speaker behaviour. There already exists a body of work that investigated the problem of automatically generating an appropriate reaction for a given input. However, none attempted to automatically generate multiple appropriate reactions in the context of dyadic interactions and evaluate the appropriateness of those reactions using objective measures. This paper starts by defining the facial Multiple Appropriate Reaction Generation (fMARG) task for the first time in the literature and proposes a new set of objective evaluation metrics to evaluate the appropriateness of the generated reactions. The paper subsequently introduces a framework to predict, generate, and evaluate multiple appropriate facial reactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google