A multi-purpose automatic editing system based on lecture semantics for remote education

要約

遠隔授業は、その利便性と安全性により、特にパンデミックのような極端な状況下で、最近人気が高まっています。
ただし、ブロードキャスト プラットフォームから提供されるビューから得られる情報が限られているため、オンラインの学生は通常、経験が乏しいものになります。
考えられる解決策の 1 つは、より多くのカメラ ビューを同時に表示することですが、技術的に困難であり、視聴者の注意をそらすことになります。
したがって、オンライン学生の注意を導くために、各時点で最も関心のあるビューを選択することを目的とした自動マルチカメラ演出/編集システムが緊急に求められています。
しかし、既存のシステムはほとんどが単純な仮定を立て、実際の講義のセマンティクスではなく話者の位置を追跡することに重点を置いているため、最適な情報フローを提供する能力が限られています。
この目的を達成するために、本論文は、リアルタイム放送用に複数のビデオストリームを指示することと、レビュー目的のために最適なビデオをオフラインで編集することの両方ができる、講義セマンティクスに基づく自動多目的編集システムを提案する。
私たちのシステムは、プロの演出ルールに従いながらクラスの出来事を意味論的に分析することでビューを演出し、人間のディレクターを模倣して現場の生徒の視点から関心のある領域を捉えます。
提案されたシステムとそのコンポーネントの有効性を検証するために、定性分析と定量分析の両方を実施します。

要約(オリジナル)

Remote teaching has become popular recently due to its convenience and safety, especially under extreme circumstances like a pandemic. However, online students usually have a poor experience since the information acquired from the views provided by the broadcast platforms is limited. One potential solution is to show more camera views simultaneously, but it is technically challenging and distracting for the viewers. Therefore, an automatic multi-camera directing/editing system, which aims at selecting the most concerned view at each time instance to guide the attention of online students, is in urgent demand. However, existing systems mostly make simple assumptions and focus on tracking the position of the speaker instead of the real lecture semantics, and therefore have limited capacities to deliver optimal information flow. To this end, this paper proposes an automatic multi-purpose editing system based on the lecture semantics, which can both direct the multiple video streams for real-time broadcasting and edit the optimal video offline for review purposes. Our system directs the views by semantically analyzing the class events while following the professional directing rules, mimicking a human director to capture the regions of interest from the viewpoint of the onsite students. We conduct both qualitative and quantitative analyses to verify the effectiveness of the proposed system and its components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google