WalkVLM:Aid Visually Impaired People Walking by Vision Language Model

要約

世界中の約2億人の個人が視覚障害の程度がさまざまであるため、AIテクノロジーを活用してこれらの人々に歩行支援を提供することが重要です。
ビジョン言語モデル（VLMS）の最近の進捗状況により、VLMを適用してウォーキングガイダンスを提供することが一般的になりました。
ただし、既存のウォーキングガイダンスの方法は、主に、トレーニングや評価のための標準化されたベンチマークなしに、公開されていない自己キュレーションの質問アンウェーデータセットに基づいています。
さらに、ウォーキングアシスタンスには、リアルタイムのストリーミングビデオ分析と簡潔でありながら有益なリマインダーの生成が必要になることが多く、過度の反応と推論の効率が低いためにVLMSが闘争します。
このペーパーでは、12,000のビデオ解決ペアで構成されるウォーキングアシスタンスに特化した最初の大規模なデータセットを紹介し、視覚障害のある個人が歩くのに役立つシステムと評価システムの統一ベンチマークを提供します。
さらに、WalkVLMモデルが提案されています。これは、簡潔ではあるが有益なリマインダーを生成するために階層的計画に一連の思考を採用し、一時的に認識した適応予測を利用して、リマインダーの時間的冗長性を減らします。
最後に、ブラインドウォーキングタスクのための強固なベンチマークを確立し、他のVLMと比較してこのタスクのストリームビデオ処理におけるWalkVLMの利点を確認しました。
データセットとコードは、https：//walkvlm2024.github.ioで入手できます。

要約(オリジナル)

Approximately 200 million individuals around the world suffer from varying degrees of visual impairment, making it crucial to leverage AI technology to offer walking assistance for these people. With the recent progress of vision-language models (VLMs), applying VLMs to offer walking guidance has become popular. However, the existing methods of walking guidance are mainly based on self-curated question-answering datasets that are not publicly accessible, without a standardized benchmark for training or evaluation. Moreover, walking assistance often requires real-time streaming video analysis and the generation of concise yet informative reminders, making VLMs struggle due to excessive responses and low efficiency in inferences. In this paper, we introduce the first large-scale dataset dedicated to walking assistance, comprising 12,000 video-annotation pairs, to provide a unified benchmark for training and evaluating systems to help visually-impaired individuals walk. Furthermore, a WalkVLM model is proposed, which employs chain of thought for hierarchical planning to generate concise but informative reminders and utilizes temporal-aware adaptive prediction to reduce the temporal redundancy of reminders. Finally, we have established a solid benchmark for blind walking task and verified the advantages of WalkVLM in stream video processing for this task compared to other VLMs. Our dataset and code are available at https://walkvlm2024.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google