Personality-aware Human-centric Multimodal Reasoning: A New Task

要約

タイトル：人間中心の多様な知的推論による人格認識：新しいタスク
要約：
– 多様な信号（視覚、言語、音声など）から推論する人間中心の多様な知的推論は、近年ますます注目されている人工知能の一分野である。
– 異なる人格を持つ人々は、同じ状況に対して異なる反応をする可能性がある。しかし、これまでの研究では、個人の人格は無視されていた。
– この研究では、新しい人格認識を取り入れた人間中心の多様な知的推論（Personality-aware HMR）タスクを紹介し、それに応じて The Big Bang Theory のテレビ番組に基づいた新しいデータセットを構築し、過去と未来の情報を使用して特定の人物の特定の時点での行動を予測することを目的とする。
– インディケーター（MBTI）を使用して個人の人格を表現するタスクを使用し、2つは関連するタスクから適応され、1つは当社のタスクに新たに提案された3つのベースライン方法を提案することで、タスクをベンチマークに提示する。
– 実験結果は、人格が人間中心の多様な知的推論のパフォーマンスを効果的に改善できることを示している。
– 現実的な場面における人格注釈が不足していることを解決するために、MBTIの人格を予測するための拡張タスクである人格予測HMRを紹介し、それに対応する方法を提案します。予測された人格を使用して多様な知覚推論を支援することができ、パフォーマンスは人格注釈に依存せずに、正確に人格を予測して満足できる多様な知的推論のパフォーマンスを達成することができます。

要約(オリジナル)

Multimodal reasoning, an area of artificial intelligence that aims at make inferences from multimodal signals such as vision, language and speech, has drawn more and more attention in recent years. People with different personalities may respond differently to the same situation. However, such individual personalities were ignored in the previous studies. In this work, we introduce a new Personality-aware Human-centric Multimodal Reasoning (Personality-aware HMR) task, and accordingly construct a new dataset based on The Big Bang Theory television shows, to predict the behavior of a specific person at a specific moment, given the multimodal information of its past and future moments. The Myers-Briggs Type Indicator (MBTI) was annotated and utilized in the task to represent individuals’ personalities. We benchmark the task by proposing three baseline methods, two were adapted from the related tasks and one was newly proposed for our task. The experimental results demonstrate that personality can effectively improve the performance of human-centric multimodal reasoning. To further solve the lack of personality annotation in real-life scenes, we introduce an extended task called Personality-predicted HMR, and propose the corresponding methods, to predict the MBTI personality at first, and then use the predicted personality to help multimodal reasoning. The experimental results show that our method can accurately predict personality and achieves satisfactory multimodal reasoning performance without relying on personality annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI