多媒体技术的研究与发展
人类社会文明的重要标志是人类具有丰富的信息交流手段,也是物联网感知世界的重要手段之一。从人类信息交流的历史看,最初出现的应该是声音与语言,包括形体语言。然后出现了文字与图形。在现代文明中,照相机、摄像机使不得静止的图像视频图像成为人交流的新的有效形式。尽管人类获取信息的80%来自于视觉,但是能够同时利用人的视觉、听觉、触觉,使得信息的获取变得更加便捷与丰富,这是人类共同的要求,也体现出多媒体技术产生的社会价值。
1.多媒体技术研究的背景
多媒体技术是一门综合新技术,它是计算机技术、微电子技术与通信技术高度发展和紧密结合的产物。20世纪90年代,个人计算机运算能力、存储能力的快速提高与3D软件的成熟,互联网技术的广泛应用,以及微电子技术的发展,使得一大批高清晰度电视(HDTV)、高保真度音响(HiFi)、高性能录像机、摄像机、照相机、光盘播放机、投影仪产品纷纷推出,促进了这些技术的交叉融合,也是多媒体技术产生与快速发展的推动力。
2.多媒体技术的主要特点
Lippincott与Robinson将多媒体技术的主要特征总结为以下两点:
1)多媒体技术是计算机以交互方式综合处理文字、声音、图形、图像等多种媒体,使多种媒体之间建立起内在的逻辑连接。
2)多媒体技术具有集成性、实时性与交互性的特点。
多媒体技术的集成性表现在两个方面。一方面表现在多媒体信息是声音、文字、图形、图像与视频的集成。另一方面表现在多媒体系统是计算机与电视机、音响、录音机、摄像机、照相机、激光唱机、投影仪等设备的集成。
多媒体技术的实时性是指多媒体系统必须具备对存在内在关联的声音、文字、图形、图像与视频信息有实时、同步的处理和显示能力。如果我们在多媒体计算机上看一个视频节目,我们不希望先听到演员说话的声音,延迟几秒钟之后才看到演员的嘴在动,这样我们会感到很不舒服。正常的多媒体视频节目中声音、图像与文字的变化应该是严格同步的。多媒体
多媒体技术的交互性是指用户不是简单、被动地观看,而是能够介入到媒体信息的处理过程之中。和我们在电视机中看一场赛车表演不同,如果我们面对屏幕玩一个多媒体的驾驶赛车游戏,我们的每一个操作动作,赛车都必须在模拟的环境中“身临其境”地表现出来。失去了交互性,就失去了多媒体技术存在的价值。
3.多媒体技术研究的主要内容
多媒体技术研究的内容主要包括以下几个方面。
(1)多媒体数据压缩、解压算法与标准
由于多媒体技术的推广必须要计算机、电子、通信、影视等多个行业的通力合作,因此多媒体技术的标准化问题尤为突出。影响多媒体产品生产与应用的核心问题是多媒体数据的压缩编码与解码算法。
在多媒体计算机系统中,由于数字化的图像与视频需要占用大量的存储空间,因此高效的压缩、解压算法是多媒体计算机系统运行的关键。目前多媒体计算机采用的是ISO与ITU联合制定的数字化图像压缩国际标准。数字化图像压缩国际标准主要有用于静态压缩的JPEG标准、适合运动图像压缩的MPEG标准。
如何选择与执行多媒体数据压缩、解压算法和标准是设计、开发一个多媒体计算机系统的关键。
(2)多媒体计算机硬件平台
多媒体计算机系统的运行硬件平台包括主板、CPU、内存、硬盘、光驱、音频卡、视频卡、音像输入与输出设备,因此设计多媒体计算机系统的一个重要问题是如何选择运行系统的硬件配置。
1990年,在微软公司召开的多媒体开发工作者会议上提出了第一个关于多媒体计算机性能的标准(M
PC1.0);1990年,在IBM、Intel等数十家公司组成的多媒体个人计算机市场协会MPMC上提出了MPC2.0标准;1995年MPMC又提出了MPC3.0标准。MPC标准对于多媒体个人计算机的内存、CPU、磁盘类型、CD ROM规格、音频设备规格、图形卡规格、视频播放要求、用户接口、I/O接口以及操作系统软件版本都做出了明确的规定。
(3)多媒体计算机软件平台
多媒体计算机软件平台以操作系统为基础。多媒体计算机操作系统可以有两种类型:一类是专门为多媒体应用设计的操作系统,如Amiga DOS、CD RTOS、NEXT Step等;另一类是在原有的操作系统上扩展一个支持音频与视频处理的多媒体软件模块及相关的工具。大部分软件公司都采取第二种方法。
(4)多媒体数据存储技术
由于多媒体数据的存储量很大,因此选取高效、快速的存储部件是设计多媒体计算机系统的重要工作之一。光盘是目前应用最多的存储设备,它包括只读光盘(CD ROM)、一次写多次读光盘(WORM)、可擦写光盘(writable)。
(5)多媒体开发与编著工具
为了方便用户编程开发多媒体应用系统,一般需要在多媒体操作系统之上提供丰富的多媒体开发工具,如Microsoft MDK为用户提供了对图形、视频、声音等文件进行转化和编辑的工具。同时,为了方便多媒体节目的开发,多媒体计算机还需要提供一些可视化的动画制作软件与多媒体节目编辑软件。
(6)多媒体数据库与基于内容的搜索技术
和传统的数据库相比,多媒体数据库包含的数据类型除文本之外,还包含声音、图形、图像与视频等数据,并且数据之间的关系复杂,需要一种更有效的多媒体数据管理系统与工具。同时,由于声音、图形、图像与视频属于非格式化的数据,因此对于多媒体信息的检索比对传统的管理结构化的文本与数据库管理系统的检索复杂得多。对于多媒体信息的检索往往需要根据媒体中表达的情节内容进行检索,这就需要研究基于内容的信息检索方法。基于内容的信息检索一般是采用近似的匹配技术,通过人机交互方式逐步求精,逐步缩小搜索结果的范围,最终定位到查的目标。
(7)超文本与Web技术
超文本(hypertext)是一种有效的管理多媒体信息的方法,它采用一种联想的、网状结构的方法来组织块状信息;超媒体(hypermedia)能够有效地将文本与声音、图形、图像及视频结合在一起,符合多媒体对于多种类型数据的实时处理的需求,因此是多媒体网络应用研究中一个重要的概念与工具。
(8)网络多媒体与分布式多媒体系统
多媒体技术与网络技术的结合产生了很多重要的应用领域,如可视电话、网络电视会议、网络视频点播、手机视频,以及网络教育、网络医疗等。ITU推荐的面向可视电话与电视会议的视频压缩算法标准主要有H.262、H.263等。目前,网络多媒体与分布式多媒体系统是多媒体应用研究的一个热点领域。
4.多媒体技术的应用
多媒体技术的应用几乎覆盖了计算机应用的各个领域,涉及人类生活、学习、医疗、娱乐等,已经引起产业界的高度重视。多媒体应用主要包括以下几个方面。
(1)教学与培训
利用多媒体技术开展教学与培训工作,寓教于乐,内容直观、生动,能够有效地提高教学和培训的质量。目前多媒体技术已经广泛地应用于教学与培训的过程之中。
(2)娱乐与游戏
网络视频点播、动漫与网络游戏已经成为互联网应用的重要领域之一。网络游戏属于电子游戏的范畴,它是电子游戏借助于互联网技术发展出来的。自1971年第一台街机游戏机诞生于MIT以来,以电子游戏为代表的数字娱乐业已经从当初的一种边缘性的娱乐方式,日益成为目前全球性的一种主流方式。随着多媒体技术的发展,基于互联网的网络视频点播、动漫与网络游戏已经形成了有一定规模的
产业。
(3)电视会议系统与网络电话
随着多媒体通信与视频图像传输数字化技术的进展,计算机网络与多媒体技术的结合产生的电视会议系统已经广泛应用于电子政务、国际学术会议等领域。网络电话已经从固定电话业务转移到移动网络电话业务,已经成为新的产业经济增长点。
(4)计算机协同工作
多媒体技术与分布式计算技术的结合,使得位于网络不同位置的科研实验室、医院手术室、设计中心的科学家、医生、工程师,能够利用多媒体系统开展合作研究、异地手术会诊与联合设计工作。
从以上讨论中可以看出,多媒体技术可以使物联网感知世界,表现感知结果的手段更丰富、更形象、更直观,因此多媒体技术在未来的物联网中一定会得到广泛应用。