要約
この論文は、エンターテインメント目的での実際のカメラ コンテンツ取得のコンテキストにおける人工知能 (AI) 研究の包括的なレビューを提供しており、研究者と映画監督の両方を対象としています。
コンピューター ビジョン研究の範囲の広さと、インテリジェント シネマトグラフィー (IC) に関連するレビュー論文の不足を考慮して、このレビューでは、IC の展望の全体像を紹介するとともに、分野を超えた専門家に技術的な洞察を提供します。
生成 AI、物体検出、自動カメラ キャリブレーション、3D コンテンツ取得に関する技術的背景を主な説明の前に置き、技術者以外の読者を支援する説明記事をリンクします。
メインのディスカッションでは、一般制作、仮想制作、ライブ制作、空撮制作という 4 つの制作タイプに作品を分類します。
バーチャル プロダクションでは、安定した拡散のような自動ビデオ生成に関する研究を含む、バーチャル コンテンツの取得に関連する研究については説明しないことに注意してください。
各セクション内では、(1) 研究を技術分野ごとにサブ分類し、サブセクションに反映されます。(2) 各タイプの生産に関する傾向と課題を評価します。
最終章では、IC 研究のより広範な範囲についての結論を述べ、業界全体に大きな影響を与える可能性があると思われる研究の概要を示します。
カメラ内バーチャル エフェクト (ICVFX) 用の LED ボリューム/ステージや、実物の仮想モデリング用の自動 3D キャプチャへの関心の高まりによって、バーチャル プロダクションに関連する作業が他の制作媒体に影響を与える可能性が最も大きいことがわかりました。
世界のシーンと俳優。
これは、IC 研究の構造的かつ包括的な考察を提供する最初の文献です。
その結果、私たちはアーティスト、俳優、一般大衆が関与するクリエイティブ AI の使用に関する倫理的および法的懸念に対処します。
要約(オリジナル)
This paper offers a comprehensive review of artificial intelligence (AI) research in the context of real camera content acquisition for entertainment purposes and is aimed at both researchers and cinematographers. Considering the breadth of computer vision research and the lack of review papers tied to intelligent cinematography (IC), this review introduces a holistic view of the IC landscape while providing the technical insight for experts across across disciplines. We preface the main discussion with technical background on generative AI, object detection, automated camera calibration and 3-D content acquisition, and link explanatory articles to assist non-technical readers. The main discussion categorizes work by four production types: General Production, Virtual Production, Live Production and Aerial Production. Note that for Virtual Production we do not discuss research relating to virtual content acquisition, including work on automated video generation, like Stable Diffusion. Within each section, we (1) sub-classify work by the technical field of research – reflected by the subsections, and (2) evaluate the trends and challenge w.r.t to each type of production. In the final chapter, we present our concluding remarks on the greater scope of IC research and outline work that we believe has significant potential to influence the whole industry. We find that work relating to virtual production has the greatest potential to impact other mediums of production, driven by the growing interest in LED volumes/stages for in-camera virtual effects (ICVFX) and automated 3-D capture for a virtual modelling of real world scenes and actors. This is the first piece of literature to offer a structured and comprehensive examination of IC research. Consequently, we address ethical and legal concerns regarding the use of creative AI involving artists, actors and the general public, in the…
arxiv情報
| 著者 | Adrian Azzarelli,Nantheera Anantrasirichai,David R Bull |
| 発行日 | 2024-05-08 13:13:02+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google