Audio Description Generation in the Era of LLMs and VLMs: A Review of Transferable Generative AI Technologies

要約

音声解説 (AD) は、視覚障害者や視覚障害者がテレビや映画などのデジタル メディア コンテンツにアクセスするのを支援するように設計された音響解説として機能します。
アクセシビリティ サービスは通常、訓練を受けた AD 専門家によって提供されるため、AD の生成には多大な人的労力が必要となり、プロセスに時間とコストがかかります。
自然言語処理 (NLP) とコンピューター ビジョン (CV)、特に大規模言語モデル (LLM) とビジョン言語モデル (VLM) の最近の進歩により、自動 AD 生成に一歩近づくことが可能になりました。
この論文では、LLM および VLM の時代における AD 生成に関連するテクノロジーをレビューします。最先端の NLP および CV テクノロジーを AD の生成にどのように適用できるかについて説明し、将来に向けた重要な研究の方向性を特定します。

要約(オリジナル)

Audio descriptions (ADs) function as acoustic commentaries designed to assist blind persons and persons with visual impairments in accessing digital media content on television and in movies, among other settings. As an accessibility service typically provided by trained AD professionals, the generation of ADs demands significant human effort, making the process both time-consuming and costly. Recent advancements in natural language processing (NLP) and computer vision (CV), particularly in large language models (LLMs) and vision-language models (VLMs), have allowed for getting a step closer to automatic AD generation. This paper reviews the technologies pertinent to AD generation in the era of LLMs and VLMs: we discuss how state-of-the-art NLP and CV technologies can be applied to generate ADs and identify essential research directions for the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google