Towards deployment-centric multimodal AI beyond vision and language

要約

マルチモーダル人工知能（AI）は、ヘルスケア、科学、工学などの分野にわたって理解、予測、意思決定を改善するために、機械学習を介して多様なタイプのデータを統合する。しかし、マルチモーダルAIの進歩のほとんどは、視覚と言語データのモデルに焦点を当てており、その一方で、その展開可能性は重要な課題のままである。我々は、データ中心およびモデル中心のアプローチを補完し、展開不可能なソリューションの可能性を低減するために、展開制約を早期に組み込む展開中心のワークフローを提唱する。また、視覚や言語を超えた研究範囲を大幅に拡大するために、マルチモダリティと学際的コラボレーションの複数のレベルを横断してより深く統合することを強調する。このアプローチを促進するために、学問分野を超えて共有される共通のマルチモーダルAI特有の課題を特定し、ヘルスケア、社会科学、工学、科学、持続可能性、金融の専門知識を活用して、パンデミック対応、自動運転車の設計、気候変動への適応という3つの実世界のユースケースを検証する。学際的な対話とオープンな研究実践を促進することで、私たちのコミュニティは、社会に広く影響を与えるための展開中心の開発を加速させることができます。

要約(オリジナル)

Multimodal artificial intelligence (AI) integrates diverse types of data via machine learning to improve understanding, prediction, and decision-making across disciplines such as healthcare, science, and engineering. However, most multimodal AI advances focus on models for vision and language data, while their deployability remains a key challenge. We advocate a deployment-centric workflow that incorporates deployment constraints early to reduce the likelihood of undeployable solutions, complementing data-centric and model-centric approaches. We also emphasise deeper integration across multiple levels of multimodality and multidisciplinary collaboration to significantly broaden the research scope beyond vision and language. To facilitate this approach, we identify common multimodal-AI-specific challenges shared across disciplines and examine three real-world use cases: pandemic response, self-driving car design, and climate change adaptation, drawing expertise from healthcare, social science, engineering, science, sustainability, and finance. By fostering multidisciplinary dialogue and open research practices, our community can accelerate deployment-centric development for broad societal impact.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL