融媒研究 H鎳铨第3卷第24期
AI智能与影视制作研究
卢家强
(广东声屏传媒股份有限公司,广东中山528400)
摘要:随着全球化经济的迅速发展,世界各行各业都将工作效率放在了首要的位置上。AI智能技术的出现不仅可以 给人们的生活带来极大便利,还改变了许多行业的发展趋势,影视行业也不例外,看是完全不相干的AI智能,却能为 影视制作带来诸多便利,提升了影视后期整个工作的效率和质量,这个制作的流程也由以往的繁琐逐渐向简单化转 变,在很大程度上降低影视制作过程中的所需要耗费的成本进而提高整个影视投资的回报效益。根据目前情况来看, AI智能技术在影视制作中会被广泛应用,且发展前景非常乐观。基于此,本文对AI智能与影视制作进行研究。
关键词:AI智能;影视制作
中图分类号:G206 文献标识码:A 文章编号:2096-5079 (2020) 24-0028-02
—、引言
人工智能技术可以多方面的模拟人脑的思维,人工智 能的出现不仅是提高人们生活质量与生活层次的产物,同时 也是社会进步和发展的必然结果。随着人工智能技术的快速 发展,影视内容制作现在与人工智能已经逐渐结合并且结合 的效果也己经有了一定的起,无论是自动配音环节,还是 自动生成字幕环节都还需要人工将其全部完成,在当前形势 下,人工智能技术已经逐渐与其相结合。尤其是对于一些高 质量的影视制作,通过结合人工智能技术可以在提高效率的 同时,满足用户对影视内容个性化的需求。为此,在影视制作 领域要全面推广对AI智能技术的应用。
二、人工智能介入影视后期制作的条件
(一) 建立有效的影像辞典
《西蒙尼》主要是由美国一家电影公司所发行的,电影 的内容主要就是将主角要离开剧组,导演利用数字虚拟化的 方式合成一个女明星,也就是电影名字西蒙尼。电影的这个 影像过程都是采用数字虚拟技术,导演创造出了一个没有任 何人可以取代的一个女主角,使女主角西蒙尼身上积聚了所 有让人羡慕的属性。如果说导演制作了一个性质相对比较简 单的电影假象,对于人工智能介入的数字化剪辑来讲,影像 辞典在建立过程中会更加的复杂。
要采集海量的影视素材,并对素材急性分析,这只是属 于一个输入、计算学习的过程。例如对于大量的影视素材,都 需要将其分割成多个小段,按照树形的结构将已经分割成的 各个小段进行划分,在私
有类别里,定义为肖似代码层面的,则不需要进行改正和调整,较为简单化,对于共有类别里,需 要选择一个相应镜头组相接的参数,如:镜头类型、速率等,其他类型的镜头,都可以采用同一种风格作为参照的标注,加以统一化的处理,这种表示主要就是针对试听语言自身所 具有的独特优势。
针对新拍摄的素材,数字剪辑师在整个工作过程中需 要采用一种方式进行处理和分析,同时还要结合原版的影响 词典进行分析,利用计算机根据客户给出要求将其剪辑成 片,对于已经剪辑好的成片也要被一起记录在整个影像词典 中,完善整个影像词典的特效和质量。
(二)对于视听语言进行深度学习
为了保障人工智能技术可以更加顺畅介入到影像后期 的剪辑中,就是保障计算机在意素层面中对整个影像情况进 行深入性的分析和研宂,简单来讲,就是利用计算机将影像 内容全部读懂,将意素的属性以及意素之间相存在的联系全部理解透彻。安德烈巴赞深入研究影像场景的调度情况时,就有一个非常典型的案例,在电影《公民凯恩》中最具有代表
的一幕就是,演员苏珊有了轻生的想法,凯恩需要在这个时 候立即冲到演员苏珊的屋内,阻止他轻生的行为。这一幕只 用了一个镜头进行表示。在人工智能技术下,将这一幕划分 成若干个镜头,例如:苏珊脸非常惨白,郁郁寡欢,床头有 玻璃杯、片,凯恩迅速跑道苏珊的房间内,苏珊脸更 加惨白,这样也可以表述出上一幕所要表达的意思。这个案 例被安德烈•巴赞用在了镜头调度的研宄中
华,在整个过程 中应用人工智能技术,可以深入研究像后期介入的具体操作 情况进行研宄。另外,人工智能技术需要在读懂镜头里意素 的同时,还要根据人物的心理状态和神态对镜头之间的衔接 做好预测和判断,确保呈现出的影像画面是完整的。
三、智能媒体制作的应用案例分析
在科学技术迅速发展的背景下,网络新媒体发生了巨 大的变化,开始借助人工智能技术对视频内容进行智能化的 便捷和生产,主要采用的人工智能技术包括:人脸/人体的智 能编辑技术、物体/场景的智能生成技术、跨模态内容匹配生 成技术。
(一)人脸/人体的智能编辑技术
无论是人脸、还是人体动作的特效在整个视觉作品中 都起着至关重要的作用,对于传统的影视为了营造一种良好 的特效,需要依附在整个后期制作和图形的计算中,生成式 对抗神经网络GAN的出现,打开了人脸的智能生成、智能编辑 的新思路[1]。
在一般情况下,人脸生成都是采用GAN的变体模型在这 个实际操作过程中采用编码-解码器的结构进行操作,通过 特征码来体现人脸的相关属性,例如:脸形、表情、姿势等,这 样就可以使神经网络学习有关人脸属性分布特征码之间所 存在的紧凑映射性的关系。对于映射关系,用户对其属性可 以随意
的进行控制,并采用生产新的脸型或者是人脸做出符 合整个影视作品中郏需要的动作、特效、表情,可以确保整个 画面的完整性。对于DeepFake技术,在特定的条件下,可以对 短视频中的人脸根据整个影像画面的需求进行修饰,该技术 虽然在应用过程中还无法达到电影制作商所提出的相关要 求和标准,但是有很多的影视制作公司己经开始对人脸/人 体的智能编辑采用低成本的深度学习方法来将其应用在影 视作品中,提高整个影视作品的视觉感。
(二)物体/场景的智能生成技术
图像生成技术的应用可以有效产生出图片特定的一种
作者简介:卢家强,男,汉族,广东清远人,中级剪辑师。研究方向:影视制作。28
第3卷第24期H媒论说融媒研究
物体,产生出与视频相关的背景和影像。“Big GAN”技术就可 以利用独立的模型产生出相关的图片,并且图片的质量非常 高,对于同一种不同实体总所存在的多样性可以采用截断的 操作进行控制,GAN的变体可以利用GAN、通过文字的形式来 生成出更具有准确性的图像。同时也可以单一物体的形象特 征进行描述,例如:例如有一匹骏马,骏马的毛发是红棕,马蹄是黑,尾巴比较短,或者是采用多个实体组合成不同 的场景进行描述,例如:有三个滑雪者都背着书包从高处的 雪山坡上划过[2]。
无论是对文字的分析,还是图像生成模型 的技术都属于目前新型的一种人工智能技术,通过对不同的 数据集进行训练,可以更加满足对于文字的描述和讲解,从 而形成一种单一化的实体生成,还可以采用多体的场景使其 形成一种图像。利用图像操纵类GAN,就可以直接对实体的边 缘情况进行分析,根据分析结果设定一个简单的轮廓,进而 生成一种高质量的实体图像。
以上这些技术应用在影视内容制作上都可以起到显著 的效果,提供大量的具有个性化特性的示例图像素材,譬如 在演播室的桌子上可以将不同的电视节目经过简单的操作 生成出有关不同节目的装饰物,这样在很大程度上减少了人 工制作素材的成本,节省了大量的人力和物力,全面提升整 个影像视频所获取的经济效益。
(三)Sf模态的匹配生成技术
跨媒体内容生成主要就是指在学习的基础上与不同的 模态媒体内容中的低维特征相匹配,低维特征具有相似语义 的特性,例如:像表征物体的像素集合,单词等;能够有效降 不同模态之间、媒体内容中所存在的高维结构性匹配进行有 效的完成,例如:多物体、多层次的图像、语句等,从而完整最 终的内容生成和转化。
在当前网络媒体节目制作中已经有两种技术被广泛应 用,一种是总结型媒体内容生成,以图像到文本生成为主,包 括图像描述、视频描述等,应用实例有自动体育视频解说,新 闻稿件自动生成器等。另
一种是想象型媒体内容生成,以文本 到图像生成为主,包括文本一图像、文本一视频生成、文本一 音频生成等。
应用实例有图像内容编辑,以本文输入为主;虚拟人物 乐器演奏视频,以音频信息生成为主。第二种技术与第一种 技术的生成特性恰恰相反,想象型媒体内容生成属于扩展信 息、联想信息的一个主要过程中,简单来讲,与以往的媒体内 容对比可知,将要生成的内容所包含的信息量非常的大,这 种方法在实际应用的过程中都需要具备海量的配对训练数 据,在对抗生成网络的基础上对生成媒体内容构建模型,适 合应用在对互动创意视频内容的智能制作中。
四、人工智能技术与应用在影视行业的发展
(一)人工智能对创意与编剧的影响
首先是创意编剧阶段。2018年依靠人工智能技术创作 了一部小说,《哈利波特和看起来像一大坨灰烬的肖像》,在人类看来这完全不像是正常的词语,但就是这样一本小 说,在全世界的零零后里引起了巨大的反响,它带着机械性 的语言己经成为一种新时尚。还有《Sunspring》这部出现在 去年伦敦科幻电影节上的影片,也是由人工智能创作的。以上例子是人工智能在创意阶段所做的一些尝试、一些工作。
(二)人工智能对制作的影响
在制作阶段,有些技术目前己经很成熟了。现在的体育 比赛、现场秀和新闻节目中,摄像机的轨迹很多都是通过人工智能的大数据分析在驱动的。包括剪辑这样的制作环节,它的背后都有人工智能的驱动以保证最快的实效性。关于具 体的图像处理技术,比如说NVIDIA新发布的RTX显卡,它通过 人工智能的降噪完成光线追踪的实时处理;再比如说程序化 纹理,在传统三维技术里面生成成本相对比较高的环节都可 以通过人工智能去帮助实现。以及涵盖了面部捕捉和表情捕 捉的动作捕捉技术,在好莱坞电影《复仇者联盟》和《星球大 战侠盗一号》等影片中所呈现的虚拟角的背后都有人工智 能在驱动。还有声音后期制作的例子,所有内容相关的处理 都有人工智能的尝试在其中。
到了所谓触达阶段,我们现在用的一个词叫触达,是因 为现在影视内容的呈现方式不再是确定的银幕或者屏幕,从 现在的多屏融合到未来的VR。目前国内的各大视频平台,内容推送的背后都有大数据的支持。例如Netflix的项目,从立 项到研发,背后都有人工智能数据的支撑。人工智能技术在 影视行业中有些内容己经在应用阶段了,有些内容还处在实 验阶段,例如谷歌、NVIDIA也不断会有一些实验室阶段的技 术出现。
h女星五、 人工智能与电影未来
在当前社会形态下,人工智能技术己经被广泛应用,在 科幻片中可以看到人工智能。例如:警匪片、侦探片等,将不 清楚的画面进行放大,提高整个影像的清晰度,人工智能技 术在以前是完全不可能实
现的,但是现在我们己经实现了对 人工智能技术的应用。人工智能技术应用在电影中可以对我 们人物表情的编辑提供更多的可能性和操作性。所以技术发 展共同的特性就是满足人类发展过程中的需求,使人类可以 将需要创造的内容和影像变得更加简单、容易,在整个操作 的过程中也不需要长时间的训练和调整。人工智能技术的出 现,我们每一个人都像是拥有一个人工智能助理,可以在很 大程度上满足我们创造过程中的实际需求。人工智能技术的 发展不仅可以给我们的影视行业带来更多的变化,激发人们 的创作积极性和主动性,甚至还可以改变人与人之间的沟通 方式,利用人工智能技术将我们内心所想要表达的想法全部 表达出来。相信,在人工智能的领导下新时代会很快就来临。
六、 结束语
综上所述,人工智能技术应用在影视制作中具有较高
的应用价值。科学、合理的应用人工智能技术能够有效改善 长期以来我国传统网络技术的状态,改变了传统全人工式 的内容制作模式,提高了人们的生活质量和工作效率,同时 也能够准确预测剧本拍成电影是否可以获得更多的经济效 益。例如:ScriptBook系统,它属于一种目前新型的一种高 等技术,包含数据分析、处理、算则算法等环节,含有6500个 以上剧本,同时它还具有对市场的应变能力,在自由数据库 中可以对新型数据进行综合的判定。创始人Azermai表示,ScriptBook预测的准确性至少比人类高三倍。人工智能技术 在性能的改变上还有非常大的进步空间,对于艺术创作在目 前还不能完
全被人工智能所取代,因为艺术创造是需要创新 的,人的思维是发散性的,而人工智能技术是人类在艺术创 作中所赋予的一种特殊能力。
参考文献:
[1] 邓涛,王代强.浅谈影视艺术创作中的大数据智能算法分析与运
用[J].艺术科技,2019,32(22): 18-19.
[2] 毛琦.技术主义与契约机制:基于社会学意义的电影数据管理体
系研究[J].现代传播,2019,41(8):133-138.
29
发布评论