Sniff AI: Is My ‘Spicy’ Your ‘Spicy’? Exploring LLM’s Perceptual Alignment with Human Smell Experiences

要約

AI を人間の意図と調整することは重要ですが、知覚的な調整、つまり AI が私たちが見たり聞いたり匂いを嗅いだりしたものをどのように解釈するかについては、まだ解明されていません。
この作品は嗅覚、つまり人間の匂い体験に焦点を当てています。
私たちは、AI が人間による香りの説明をどの程度うまく解釈できるかを調査するために、40 人の参加者を対象にユーザー調査を実施しました。
参加者は「匂いを嗅いで説明する」インタラクティブなタスクを実行し、私たちが設計した AI システムは、参加者の説明に基づいて参加者がどのような香りを経験しているかを推測しようとしました。
これらのタスクでは、大規模言語モデル (LLM) の文脈上の理解と、その内部状態 (高次元の埋め込み空間) 内の香りの関係の表現を評価しました。
AI システムのパフォーマンスの評価には、定量的手法と定性的手法の両方が使用されました。
結果は、レモンやペパーミントなどの特定の香りに偏り、ローズマリーなど他の香りを識別できないことが続いており、知覚の調整が限られていることを示しました。
私たちは、人間と AI の調整の進歩を踏まえてこれらの発見について議論し、多感覚体験の統合による HCI システムの強化の限界と機会を強調します。

要約(オリジナル)

Aligning AI with human intent is important, yet perceptual alignment-how AI interprets what we see, hear, or smell-remains underexplored. This work focuses on olfaction, human smell experiences. We conducted a user study with 40 participants to investigate how well AI can interpret human descriptions of scents. Participants performed ‘sniff and describe’ interactive tasks, with our designed AI system attempting to guess what scent the participants were experiencing based on their descriptions. These tasks evaluated the Large Language Model’s (LLMs) contextual understanding and representation of scent relationships within its internal states – high-dimensional embedding space. Both quantitative and qualitative methods were used to evaluate the AI system’s performance. Results indicated limited perceptual alignment, with biases towards certain scents, like lemon and peppermint, and continued failing to identify others, like rosemary. We discuss these findings in light of human-AI alignment advancements, highlighting the limitations and opportunities for enhancing HCI systems with multisensory experience integration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google