OpenOmni: A Collaborative Open Source Tool for Building Future-Ready Multimodal Conversational Agents

要約

マルチモーダルな会話エージェントは、自然で人間のような対話を提供するため、非常に望ましいものです。
しかし、共同開発とベンチマークをサポートするための包括的なエンドツーエンドのソリューションが不足しています。
GPT-4o や Gemini などの独自システムは、200 ～ 250 ミリ秒の応答時間でオーディオ、ビデオ、テキストの優れた統合を実証していますが、遅延、精度、コスト、データ プライバシーのバランスをとるという課題が残っています。
これらの問題をより深く理解し、定量化するために、私たちは、Speech-to-Text、感情検出、検索拡張生成、大規模言語モデルなどの高度なテクノロジーを統合する、オープンソースのエンドツーエンドのパイプライン ベンチマーク ツールである OpenOmni を開発しました。
カスタマイズされたモデルを統合する機能。
OpenOmni はローカルおよびクラウドの展開をサポートし、データのプライバシーを確​​保し、遅延と精度のベンチマークをサポートします。
この柔軟なフレームワークにより、研究者はパイプラインをカスタマイズして実際のボトルネックに焦点を当て、迅速な概念実証開発を促進できます。
OpenOmni は、視覚障害者向けの屋内支援などのアプリケーションを大幅に強化し、人間とコンピューターの対話を促進します。
デモビデオはhttps://www.youtube.com/watch?v=zaSiT3clWqY、デモはhttps://openomni.ai4wa.comから、コードはhttps://github.com/AI4WA/OpenOmniFrameworkから入手できます。
。

要約(オリジナル)

Multimodal conversational agents are highly desirable because they offer natural and human-like interaction. However, there is a lack of comprehensive end-to-end solutions to support collaborative development and benchmarking. While proprietary systems like GPT-4o and Gemini demonstrating impressive integration of audio, video, and text with response times of 200-250ms, challenges remain in balancing latency, accuracy, cost, and data privacy. To better understand and quantify these issues, we developed OpenOmni, an open-source, end-to-end pipeline benchmarking tool that integrates advanced technologies such as Speech-to-Text, Emotion Detection, Retrieval Augmented Generation, Large Language Models, along with the ability to integrate customized models. OpenOmni supports local and cloud deployment, ensuring data privacy and supporting latency and accuracy benchmarking. This flexible framework allows researchers to customize the pipeline, focusing on real bottlenecks and facilitating rapid proof-of-concept development. OpenOmni can significantly enhance applications like indoor assistance for visually impaired individuals, advancing human-computer interaction. Our demonstration video is available https://www.youtube.com/watch?v=zaSiT3clWqY, demo is available via https://openomni.ai4wa.com, code is available via https://github.com/AI4WA/OpenOmniFramework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google