Vinci: A Real-time Embodied Smart Assistant based on Egocentric Vision-Language Model

要約

私たちは、自己中心的な視覚言語モデルに基づいて構築されたリアルタイムの具体化されたスマート アシスタントである Vinci を紹介します。
スマートフォンやウェアラブル カメラなどのポータブル デバイスに導入できるように設計された Vinci は、「常時オン」モードで動作し、環境を継続的に監視してシームレスな対話と支援を提供します。
ユーザーはシステムを起動して自然な会話をして質問したり支援を求めたりすることができ、応答はハンズフリーで音声を通じて届けられるので便利です。
Vinci は、長時間のビデオ ストリームをリアルタイムで処理する機能を備えているため、現在の観察や歴史的背景に関するユーザーの質問に答えることができると同時に、過去のやり取りに基づいてタスク計画を立てることもできます。
使いやすさをさらに高めるために、Vinci には、詳細なガイダンスが必要なタスクの段階的な視覚的なデモンストレーションを作成するビデオ生成モジュールが統合されています。
私たちは、Vinci がポータブルでリアルタイムの自己中心的な AI システムのための堅牢なフレームワークを確立し、状況に応じた実用的な洞察をユーザーに提供できることを期待しています。
https://github.com/OpenGVLab/vinci で、アップロードされたビデオをテストするためのデモ Web プラットフォームと組み合わせて、デバイス開発のための完全な実装をリリースします。

要約(オリジナル)

We introduce Vinci, a real-time embodied smart assistant built upon an egocentric vision-language model. Designed for deployment on portable devices such as smartphones and wearable cameras, Vinci operates in an ‘always on’ mode, continuously observing the environment to deliver seamless interaction and assistance. Users can wake up the system and engage in natural conversations to ask questions or seek assistance, with responses delivered through audio for hands-free convenience. With its ability to process long video streams in real-time, Vinci can answer user queries about current observations and historical context while also providing task planning based on past interactions. To further enhance usability, Vinci integrates a video generation module that creates step-by-step visual demonstrations for tasks that require detailed guidance. We hope that Vinci can establish a robust framework for portable, real-time egocentric AI systems, empowering users with contextual and actionable insights. We release the complete implementation for the development of the device in conjunction with a demo web platform to test uploaded videos at https://github.com/OpenGVLab/vinci.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google