Research on the Laws of Multimodal Perception and Cognition from a Cross-cultural Perspective — Taking Overseas Chinese Gardens as an Example

要約

この研究は、海外の中国庭園における空間体験デザインに特に重点を置き、マルチモーダルデータ分析における知覚と認知の相互作用の間の複雑な関係を調査することを目的としています。
ソーシャルメディア上の評価コンテンツと画像は、個人の懸念や感情反応を反映する可能性があり、感情情報と画像ベースの認知情報の両方を含む認知研究のための豊富なデータベースを提供することがわかりました。
ディープラーニング技術を活用して、ソーシャルメディアからのテキストデータとビジュアルデータを分析し、海外の中国庭園のコンテキスト内での人々の認識と感情認知の関係を明らかにします。
さらに、私たちの研究では、AI エージェントとともにマルチエージェント システム (MAS) を導入しています。
各エージェントは、チャット シーンのシミュレーションと Web 検索を組み合わせて、美的認知の法則を探索します。
この研究は、認識をセンチメントスコアに変換するという従来のアプローチを超えており、テキストを直接分析し、意見データをより深く掘り下げるという点で研究方法論の拡張を可能にしています。
この研究は、多様な文化的文脈にわたる美的経験とそれが建築や景観デザインに及ぼす影響を理解するための新たな視点を提供し、これは文化コミュニケーションと美的理解の分野に不可欠な貢献となる。

要約(オリジナル)

This study aims to explore the complex relationship between perceptual and cognitive interactions in multimodal data analysis,with a specific emphasis on spatial experience design in overseas Chinese gardens. It is found that evaluation content and images on social media can reflect individuals’ concerns and sentiment responses, providing a rich data base for cognitive research that contains both sentimental and image-based cognitive information. Leveraging deep learning techniques, we analyze textual and visual data from social media, thereby unveiling the relationship between people’s perceptions and sentiment cognition within the context of overseas Chinese gardens. In addition, our study introduces a multi-agent system (MAS)alongside AI agents. Each agent explores the laws of aesthetic cognition through chat scene simulation combined with web search. This study goes beyond the traditional approach of translating perceptions into sentiment scores, allowing for an extension of the research methodology in terms of directly analyzing texts and digging deeper into opinion data. This study provides new perspectives for understanding aesthetic experience and its impact on architecture and landscape design across diverse cultural contexts, which is an essential contribution to the field of cultural communication and aesthetic understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google