浅谈如何基于内容分析多媒体教学信息检索
发布时间：2015-07-07 09:16
摘要：多媒体教学信息的内容,在某些方面具有非结构化特征难以描述与检索,而基于内容分析的检索技术的出现,解决了多媒体教学信息内容描述与检索问题。本文介绍了基于内容分析的多媒体教学信息检索的主要工作流程，以及mpeg-7在网络教学中的应用前景。
关键词：内容分析；多媒体教学信息；检索；mpeg-7
abstract: multi-media teaching information, in some respects, with indescribable characteristics and unstructured search, and content-based analysis of the search technology to solve the multi-media teaching and description of the contents of the information retrieval problems. in this paper, based on the analysis of the contents of multimedia information retrieval teaching of the main workflow, as well as mpeg-7 in the teaching of network applications.
key words: content analysis; multi-media teaching information; retrieval; mpeg-7
1.概述
随着计算机网络技术、多媒体技术以及通讯技术飞速发展，以视频、音频、图形与图象为主体的多媒体教学信息成为开展现代远程教学的主要内容。对多媒体教学信息中的文本数据内容分析与检索技术比较成熟。目前在互联网上搜索引擎均是采用了基于关键词的检索方式，像百度、google，北大天网、yahoo等著名的搜索引擎均是采用这种方式,由于数据内容是具有结构化特征,它是可以用一定关系模型来描述。而视频、音频等多媒体信息内容具有非结构化的特性，不容易用关系模型来描述。加上视频、音频是与时间有关系的连续媒体信息，网络中它们是以视频、音频流媒体形式存在，这种流媒体形式的管理与检索比较困难。
2.基于内容分析方法的提出
我们知道视频、音频都是按时间顺序来组织的，传统方法查找其中某个片断都是通过快进或快到等顺序来浏览内容查找，这种方法不仅要求用户注意力高度集中，而且特别浪费时间。在多媒体教学过程中，使用这种方法不仅会出现迷航现象，而且会降低学习效率。由于视频、音频内容包含复杂丰富的信息数据，对视频、音频检索已成为实际应用中一个难题，而基于内容分析方法是目前视频、音频检索主要发展趋势。
如何解决多媒体信息内容描述问题，目前主要是采用基于内容分析视频处理与检索方法，这种方法是近年来随着多媒体数据处理技术发展而提出的。基于内容分析的方法是从另一个角度来认识多媒体信息，从早期基本颜色检索，到综合利用多种多媒体特征进行检索。如：颜色、纹理、形状、场景、镜头、帧等特征信息。目前该技术已经发展到实用阶段，其中多媒体内容描述接口mpeg-7是目前被广泛接受的一种国际标准，其核心就是基于多媒体内容分析。
mpeg序列媒体标准是目前最为广泛应用的视/音频媒体标准，目前广泛应用的主要有mpeg-i、mpeg-ii、mpeg-4等，它们都是对数字运动图像及伴音编码进行压缩的一种国际标准，其中mpeg-4采用按照具有一定时间关系和空间关系的对象来进行视、音频编码的处理方式。而mpeg-7是在mpeg-4基础上发展起来，mpeg-7重点是对视音频信息内容进行不同程度描述与定义，而与多媒体信息的编码和存储方式无关。
3.多媒体教学信息检索工作流程
多媒体教学信息检索主要工作流程分为三个阶段：内容获取、内容描述、内容操作。即先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，来支持用户对内容的操作。
内容获取通过各种内容分析和处理，而获得媒体内容的过程，它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质，特征提取有自动特征提取和人工交互或提取两种方式。
内容描述就是描述在以上过程中获取的内容，内容描述是mpeg-7标准中的内容，它可以用来描述越来越多的不可预知的信息，mpeg-7是用来对多媒体信息进行不同程序描述的方法和工具。mpeg-7国际专家组制定的多媒体内容描述主要是采用了描述符和描述方案来分别描述媒体的特征及其关系。描述符就是对实体特征描述表示方法，描述方案是说明描述符的结构和相互关系。描述定义语言ddl是规定了描述方案的语言，它允许对现有的描述方案进行修改和扩展。mpeg-7描述符只与多媒体内容相关，并不依赖于多媒体内容的编码或存储方式，所以它可以独立于各个厂商的平台，它方便了多媒体内容分布处理与内容的交换调用。
内容操作是对内容用户操作和应用，因为用户对内容有着不同的需求。查询多用于数据库操作，检索只是在索引支持下快速获取信息的方式，搜索是用户通过搜索引擎在internet中搜寻自己所需的信息，浏览是用户通过浏览操作，线性或非线性地存取结构化与非结构化（超媒体）内容。
4.“元数据”技术与mpeg-7格式的定义
为了解决对多媒体中视音频数据内容描述提出了“元数据”的概念，所谓“元数据”就是用来描述数据特性的数据。多媒体数据特性的描述不是对图像和声音波形进行简单的采样，而是获取它们的物理特征和时间信息，这些数据就是元数据。例如：视频可用幕、场景、镜头、帧等特征信息来描述。元数据技术的出现使得对多媒体内容及特征的管理与检索成为可能，mpeg-7就是采用了元数据技术的多媒体内容描述结构标准，通过mpeg-7格式定义的多媒体教学信息让学生可以高效率地搜索、过滤、定义自己所需要的视音频资料。目前国际mpeg组织在mpeg-7标准中定义五种内容信息。1.创建和生产：视音频制作的基本信息如：电视片头、导演、曲作者等；2.媒体：定义资料存储的方法，如视频音频是否经过压缩、编码方式、储存媒介等；3.使用：定义资料使用的方式，例如电视教学片版权单位，播放时间；4.结构方面：对电视片中出现的某种物品、颜色或者是音乐中某一片段旋律的描述；5.概念方面：定义了资料中各种控制的链接或交互。
通过以上五种内容定义可以看出mpeg-7只是定义了对多媒体信息不同程度描述的方法，并没有规定怎样利用内容描述进行搜索的具体程序和工具，mpeg-7对多媒体内容描述的特征可以夹带在mpeg-i、mpeg-ii、mpeg-4等格式视音频资料中使用，也可以独立使用。mpeg-7本身虽然没有直接对文本信息进行描述，但它考虑到现有文本信息描述方法，支持它们之间即描述视音频信息和描述文本信息之间的接口。
-7在多媒体教学中的应用
在当前多媒体教学过程中，多媒体教学信息快速获取教学过程重要的环节。在实际中使用视音频资料时往往可能采用其中某一个片段或某部乐曲中的一段旋律。如果利用了mpeg-7标准以后，教师只要输入几个简单的音符就可以找到某段乐曲，只要画简单的线条和简单的图案就可以在庞大的多媒体信息库中找到所需视频、音频资料的某个片段，这极大提高了课堂教学效率。在网络教学中学生可以轻松在数字图书馆中找到自己所需的教学信息，不必采用导航图标一级级搜寻。对网络多媒体教学信息组织管理可以通过多媒体内容分析技术提取多媒体内容元数据，保证了媒体内容元数据库及其元数据格式的遵循mpeg-7标准，为网络教学资源共享和交流创造了良好的基础。目前mpeg-7应用较为广泛，不仅在教育领域，而且在广播电视媒体、多媒体编辑制作、导游、娱乐、新闻、地理信息、建筑等领域有着广泛应用潜力。
6.结束语:
总之多媒体信息检索技术是一门综合了数字视频/图像处理、语音识别/语言处理、多媒体数据库、模式识别、人工智能等学科计算机应用技术，随着这些学科发展，多媒体信息检索技术会不断成熟完善，对社会信息化产生巨大推动作用。
参考文献：
[1]李国辉基于内容的多媒体信息存取技术《计算机世界》2000年第六期
[2]罗斯青mpeg-7与多媒体信息检索《电视技术》2002年第五期
关键词：内容分析；多媒体教学信息；检索；mpeg-7
abstract: multi-media teaching information, in some respects, with indescribable characteristics and unstructured search, and content-based analysis of the search technology to solve the multi-media teaching and description of the contents of the information retrieval problems. in this paper, based on the analysis of the contents of multimedia information retrieval teaching of the main workflow, as well as mpeg-7 in the teaching of network applications.
key words: content analysis; multi-media teaching information; retrieval; mpeg-7
1.概述
随着计算机网络技术、多媒体技术以及通讯技术飞速发展，以视频、音频、图形与图象为主体的多媒体教学信息成为开展现代远程教学的主要内容。对多媒体教学信息中的文本数据内容分析与检索技术比较成熟。目前在互联网上搜索引擎均是采用了基于关键词的检索方式，像百度、google，北大天网、yahoo等著名的搜索引擎均是采用这种方式,由于数据内容是具有结构化特征,它是可以用一定关系模型来描述。而视频、音频等多媒体信息内容具有非结构化的特性，不容易用关系模型来描述。加上视频、音频是与时间有关系的连续媒体信息，网络中它们是以视频、音频流媒体形式存在，这种流媒体形式的管理与检索比较困难。
2.基于内容分析方法的提出
我们知道视频、音频都是按时间顺序来组织的，传统方法查找其中某个片断都是通过快进或快到等顺序来浏览内容查找，这种方法不仅要求用户注意力高度集中，而且特别浪费时间。在多媒体教学过程中，使用这种方法不仅会出现迷航现象，而且会降低学习效率。由于视频、音频内容包含复杂丰富的信息数据，对视频、音频检索已成为实际应用中一个难题，而基于内容分析方法是目前视频、音频检索主要发展趋势。
如何解决多媒体信息内容描述问题，目前主要是采用基于内容分析视频处理与检索方法，这种方法是近年来随着多媒体数据处理技术发展而提出的。基于内容分析的方法是从另一个角度来认识多媒体信息，从早期基本颜色检索，到综合利用多种多媒体特征进行检索。如：颜色、纹理、形状、场景、镜头、帧等特征信息。目前该技术已经发展到实用阶段，其中多媒体内容描述接口mpeg-7是目前被广泛接受的一种国际标准，其核心就是基于多媒体内容分析。
mpeg序列媒体标准是目前最为广泛应用的视/音频媒体标准，目前广泛应用的主要有mpeg-i、mpeg-ii、mpeg-4等，它们都是对数字运动图像及伴音编码进行压缩的一种国际标准，其中mpeg-4采用按照具有一定时间关系和空间关系的对象来进行视、音频编码的处理方式。而mpeg-7是在mpeg-4基础上发展起来，mpeg-7重点是对视音频信息内容进行不同程度描述与定义，而与多媒体信息的编码和存储方式无关。
3.多媒体教学信息检索工作流程
多媒体教学信息检索主要工作流程分为三个阶段：内容获取、内容描述、内容操作。即先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，来支持用户对内容的操作。
内容获取通过各种内容分析和处理，而获得媒体内容的过程，它包括信息分割、特征提取两个部分。信息分割分成图像分割与视频分割。内容获取核心是特征提取。特征提取就是提取内容显著的特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质，特征提取有自动特征提取和人工交互或提取两种方式。
内容描述就是描述在以上过程中获取的内容，内容描述是mpeg-7标准中的内容，它可以用来描述越来越多的不可预知的信息，mpeg-7是用来对多媒体信息进行不同程序描述的方法和工具。mpeg-7国际专家组制定的多媒体内容描述主要是采用了描述符和描述方案来分别描述媒体的特征及其关系。描述符就是对实体特征描述表示方法，描述方案是说明描述符的结构和相互关系。描述定义语言ddl是规定了描述方案的语言，它允许对现有的描述方案进行修改和扩展。mpeg-7描述符只与多媒体内容相关，并不依赖于多媒体内容的编码或存储方式，所以它可以独立于各个厂商的平台，它方便了多媒体内容分布处理与内容的交换调用。
内容操作是对内容用户操作和应用，因为用户对内容有着不同的需求。查询多用于数据库操作，检索只是在索引支持下快速获取信息的方式，搜索是用户通过搜索引擎在internet中搜寻自己所需的信息，浏览是用户通过浏览操作，线性或非线性地存取结构化与非结构化（超媒体）内容。
4.“元数据”技术与mpeg-7格式的定义
为了解决对多媒体中视音频数据内容描述提出了“元数据”的概念，所谓“元数据”就是用来描述数据特性的数据。多媒体数据特性的描述不是对图像和声音波形进行简单的采样，而是获取它们的物理特征和时间信息，这些数据就是元数据。例如：视频可用幕、场景、镜头、帧等特征信息来描述。元数据技术的出现使得对多媒体内容及特征的管理与检索成为可能，mpeg-7就是采用了元数据技术的多媒体内容描述结构标准，通过mpeg-7格式定义的多媒体教学信息让学生可以高效率地搜索、过滤、定义自己所需要的视音频资料。目前国际mpeg组织在mpeg-7标准中定义五种内容信息。1.创建和生产：视音频制作的基本信息如：电视片头、导演、曲作者等；2.媒体：定义资料存储的方法，如视频音频是否经过压缩、编码方式、储存媒介等；3.使用：定义资料使用的方式，例如电视教学片版权单位，播放时间；4.结构方面：对电视片中出现的某种物品、颜色或者是音乐中某一片段旋律的描述；5.概念方面：定义了资料中各种控制的链接或交互。
通过以上五种内容定义可以看出mpeg-7只是定义了对多媒体信息不同程度描述的方法，并没有规定怎样利用内容描述进行搜索的具体程序和工具，mpeg-7对多媒体内容描述的特征可以夹带在mpeg-i、mpeg-ii、mpeg-4等格式视音频资料中使用，也可以独立使用。mpeg-7本身虽然没有直接对文本信息进行描述，但它考虑到现有文本信息描述方法，支持它们之间即描述视音频信息和描述文本信息之间的接口。
-7在多媒体教学中的应用
在当前多媒体教学过程中，多媒体教学信息快速获取教学过程重要的环节。在实际中使用视音频资料时往往可能采用其中某一个片段或某部乐曲中的一段旋律。如果利用了mpeg-7标准以后，教师只要输入几个简单的音符就可以找到某段乐曲，只要画简单的线条和简单的图案就可以在庞大的多媒体信息库中找到所需视频、音频资料的某个片段，这极大提高了课堂教学效率。在网络教学中学生可以轻松在数字图书馆中找到自己所需的教学信息，不必采用导航图标一级级搜寻。对网络多媒体教学信息组织管理可以通过多媒体内容分析技术提取多媒体内容元数据，保证了媒体内容元数据库及其元数据格式的遵循mpeg-7标准，为网络教学资源共享和交流创造了良好的基础。目前mpeg-7应用较为广泛，不仅在教育领域，而且在广播电视媒体、多媒体编辑制作、导游、娱乐、新闻、地理信息、建筑等领域有着广泛应用潜力。
6.结束语:
总之多媒体信息检索技术是一门综合了数字视频/图像处理、语音识别/语言处理、多媒体数据库、模式识别、人工智能等学科计算机应用技术，随着这些学科发展，多媒体信息检索技术会不断成熟完善，对社会信息化产生巨大推动作用。
参考文献：
[1]李国辉基于内容的多媒体信息存取技术《计算机世界》2000年第六期
[2]罗斯青mpeg-7与多媒体信息检索《电视技术》2002年第五期
上一篇：蓝牙的信息安全机制及密钥算法改进