搜索引擎的比较研究论文

“信息资源共享”课程检索报告一 检索课题数字图书馆个性化服务研究现状二 主题分析随着数字图书馆建设和网络通讯技术的高速发展, 数字资源越来越多, 而人们获取所需资源的可能性则越来越少, 用户需求的专业化、垂直化激化了数字图书馆大量信息数据库与用户需求之间的矛盾。1999 年, 美国图书馆与信息技术联合会(LITA) 10 位著名的数字图书馆专家在研讨会上, 把个性化定制服务列为数字图书馆发展的7 大趋势之首。目前, 数字图书馆个性化的信息服务已经开始得到普遍的关注, 人们正在为提供个性化信息服务做出努力的尝试。数字图书馆个性化服务是近几年数字图书馆研究中受到关注较多的一个研究方向，数字图书馆个性化服务是基于信息用户的信息使用行为，习惯，偏好，特点及用户特定的需求，来向用户提供满足其个性化需求的信息内容和系统功能的一种服务。关于数字图书馆个性化服务研究现状，该主题涉及到：（1）数字图书馆个性化服务的有哪些介绍（2）数字图书馆个性化服务的模式有什么（3）数字图书馆个性化服务的技术研究有哪些（4）数字图书馆个性化服务研究的最新进展（2005年-2007年）三 检索情况（一）检索工具1．维普中文期刊数据库 （1989-2007）2．中国期刊全文数据库 （1994-2007）（二）检索过程1．检索途径 关键词 题名 主题词2．检索用词 数字图书馆 关键词或题名、主题词 个性化服务 关键词或题名、主题词3．检索策略（1）维普中文期刊数据库(题名或关键词=数字图书馆)*(题名或关键词=个性化服务) 在高级检索中选择题名或关键词字段，输入“数字图书馆”和“个性化服务”两个检索词进行限定，年代限定在2005-2007年，共检索出78条记录。（2）中国期刊全文数据库（题名或关键词=数字图书馆）* (题名或关键词=数字图书馆)在高级检索中选择篇名字段，输入“数字图书馆”与“个性化服务”，年代限定在2005-2007，共检出89条记录。四 检索结果分析（一） 检索结果经检索上述两个数据库，有关数字图书馆个性化服务的研究论文众多，现选出其中具有代表性，研究主题未重复的文献。1．中国期刊全文数据库（1） 数字图书馆个性化信息服务系统研究 刘燕平 图书情报工作 2006/S2（2） 数字图书馆个性化服务系统分类体系问题 叶红 科技信息(学术研究) 2007年13期（3） 浅析智能搜索引擎技术及其在数字图书馆个性化信息服务中的应用 王林廷 高校图书情报论坛 2006年01期（4）数据挖掘技术在数字图书馆个性化服务中的应用 朱冰冰 科技情报开发与经济 2006年24期（5）数字图书馆个性化信息服务发展研究 马维华 郑州大学学报(哲学社会科学版) 2006年06期（6） 智能推送技术在数字图书馆个性化服务中的应用 石岩 情报探索 2006年11期（7） 基于文本过滤的数字图书馆个性化服务技术 张帆 计算机工程与应用 2006年31期（8） 数字图书馆信息门户的个性化服务模式 何平 中国信息导报 2006年08期（9） 网络信息技术下的数字图书馆个性化服务 张丹 林区教学 2006年07期（10）MyLibrary——数字图书馆个性化服务新趋势 杨华 农业图书情报学刊 2006年08期（11）基于Web服务组合的数字图书馆个性化动态定制服务构建 张晓青 情报学报 2006年03期（12）校园网中数字化图书馆个性化服务的实现 朱江峰 科技经济市场 2006年01期（13）数字图书馆的个性化推送服务 白雪松 图书馆杂志 2005年09期（14）Web日志挖掘在数字图书馆个性化服务中的应用 王英培 科技情报开发与经济 2005年22期（15）国内外数字图书馆个性化信息服务系统的功能与特征比较研究 张俊 情报理论与实践 2005年06期（16）基于知识管理的数字图书馆个性化服务机制研究 郭琳 四川图书馆学报 2004年05期2．维普中文期刊数据库（17）基于Web挖掘的数字图书馆个性化技术研究 王艳 张帆 情报杂志 2007年1期（18）基于文本过滤的数字图书馆个性化服务技术 张帆 杨炳儒 计算机工程与应用 2006年31期（19） 数字图书馆信息门户的个性化服务模式 何平 陈有志 中国信息导报 2006年8期（20）个性化服务深度与广度解决方式探讨 刘月胜 数字图书馆论坛 2006年6期（21）个人数字图书馆模式的分析 石德万 李军 现代情报 2005年9期（22）数字图书馆个性化信息环境与服务构建 杜安平 韶关学院学报 2005年3期（23）数字图书馆个性化信息服务的技术实现 张云瑾 许春漫 农业图书情报学刊 2005年6期（24）个性化信息服务的模式研究及策略分析 杜春光 国家图书馆学刊 2005年2期（二） 检索结论文献一论述了个性化信息服务的涵义,阐述数字图书馆开展个性化信息服务的有利条件,国内外图书馆的有关研究开发状况,分析国内数字图书馆个性化信息服务系统应用实例,并时其工作流程,主要功能进行剖析,指出该系统目前存在的问题,提出改进对策。文献二围绕数字图书馆个性化服务系统分类体系问题展开探讨。首先,简要介绍数字图书馆个性化服务系统的主要内容,包括其定义和服务内容。其次,从用户分类和信息分类两个方面阐述目前数字图书馆个性化服务系统存在的问题。用户分类主要存在的两个问题,根据用户特点分析提出相应建议。信息分类问题从五个方面进行讨论,列举数字图书馆个性化服务系统页面进行分析,提出解决方法。文献三介绍了智能信息检索的实质和发展方向,是智能搜索引擎技术的不断改进和广泛应用。以这一技术为基础构建数字图书馆的个性化服务系统,是数字图书馆信息服务的现实需要。文章论述了当前搜索引擎存在的不足,概述了智能搜索引擎的原理机制及其优越性,探讨了该技术在数字图书馆个性化服务中的应用。文献四阐述了数字图书馆的定义,介绍了个性化服务的工作原理和国内外个性化服务系统的现状,探讨了分类模型、关联模型、序列模型、聚类模型、回归模型以及时间序列模型的原理,对如何把其用在数字图书馆的个性化服务上以描述用户需求,提出了建议。文献五介绍了数字图书馆个性化信息服务是当今图书馆发展的重要趋势,目前国内外都已有比较成熟的数字图书馆个性化信息服务系统,服务方式及其功能也多种多样,但是探索图书馆个性化信息服务有效模式的任务仍很艰巨。文献六介绍了智能推送技术和个性化服务的内容,讨论了将智能推送技术应用于数字图书馆个性化服务,以及智能推送技术存在的优势与不足。文献七提供了一种针对数字图书馆个性化服务策略的文本过滤技术,通过在向量空间内建立用户兴趣模型和文本内容特征模型,计算它们的相似度后,将用户不感兴趣的文本过滤掉。详细描述了具体的建模过程和个性化文本过滤算法,最后给出了在实际的数字图书馆工程中的验证结果。文献八试图对数字图书馆信息门户下的个性化服务模式进行研究,从双向互动式信息服务、集成式信息检索服务、动态式馆藏特色信息服务、渗透式垂直信息门户服务、追踪式数据挖掘信息服务等服务模式来探讨数字图书馆个性化服务的有效模式及发展建势。文献九简述了数字图书馆个性化服务的内涵,分析了网络信息技术对其各项服务的支撑,并通过My Library实例对这些具体技术的集成化运用加以探讨,为构建可互操作的数字图书馆个性化服务系统提供参考。文献十就My Library(我的图书馆)的产生,及其概念、类型、特征、原理、功能等诸方面做了简要的论述,并介绍了它在国内外的发展现状,指出其今后的发展方向。文献十一介绍了Web服务组合是一种利用现有Web服务动态构建新的能满足用户需求的复杂Web服务的Web服务技术。将数字图书馆各种资源组件、应用组件、功能组件和管理组件进行Web服务描述,人们就能利用Web服务组合技术根据用户的个性化需求实现对不同数字图书馆各种组件的动态集成,从而实现开放环境下数字图书馆的个性化动态定制服务。本文讨论了基于Web服务组合的数字图书馆个性化动态定制服务的基本系统架构、构建模型,并对构建过程中需要注意的几个问题展开了讨论。文献十二介绍了数字化图书馆建设是图书信息化发展的必然,而个性化服务能够根据用户不同的特点,提供切实的服务,以更好地为读者服务。本文对数字化图书馆的个性化服务进行了讨论,分析了关键的实现技术,并给出了部分核心代码。文献十三介绍了个性化推送服务是数字图书馆研究的热点,也是建设数字图书馆的关键问题之一。本文针对各种不同的信息形式提出了相应的实现方案,并对实际操作中的几个难点事项做了简要讨论。文献十四介绍了Web日志挖掘的基本概念和过程,指出通过对读者在数字图书馆服务中留下的日志信息进行挖掘,可以实现个性化服务,更好地满足不同类别读者的需求。文献十五从个性化信息服务的概念入手,介绍了个性化信息服务的几种类型,包括分类定制服务、信息推送服务、智能代理服务和垂直门户服务等,并介绍了目前国内外若干图书馆已经开展的个性化信息服务的典型应用实例。在此基础上总结了这些个性化信息服务系统的共同功能与特征,并进行了一些比较研究。文献十六介绍了构建一个基于信息过滤技术的信息服务系统是数字图书馆实现个性化信息服务的有效手段。通过对信息过滤技术概念的研究和与信息检索概念的比较,抽象出此类系统的一般模型,并沿用查全率和查准率评价信息过滤的效果,最后分析了个性化信息服务系统实现的关键技术。文献十七提出一种基于Web挖掘技术的个性化实现策略，针对数字图书馆资源的文献，改进了经典的算法，分别从Web内容挖掘、结构挖掘和日志挖掘出发，建立用户动态的兴趣特征模型，使之更具有实用性和针对性。文献十八提出在数字图书馆的应用中，个性化服务可以为用户提供符合其兴趣的检索结果。提供了一种针对数字图书馆个性化服务策略的文本过滤技术，通过在向量空间内建立用户兴趣模型和文本内容特征模型，计算它们的相似度后，将用户不感兴趣的文本过滤掉。详细描述了具体的建模过程和个性化文本过滤算法，最后给出了在实际的数字图书馆工程中的验证结果。文献十九试图对数字图书馆信息门户下的个性化服务模式进行研究,从双向互动式信息服务、集成式信息检索服务、动态式馆藏特色信息服务、渗透式垂直信息门户服务、追踪式数据挖掘信息服务等服务模式来探讨数字图书馆个性化服务的有效模式及发展趋势。文献二十提出数字图书馆的个性化服务决定了它在借助网络技术的基础上向学科馆和联盟制方向发展，以提高资源的利用率和解决个性化服务的深度与广度问题。文献二十一根据个人数字图书馆文献信息资源存储位置的不同．把个人数字图书馆划分为远程个人数字图书馆和本地个人数字图书馆两种模式，着重对这两种模式的个人数字图书馆的功能特点进行比较分析。文献二十二提出构建数字图书馆的个性化信息服务实际上就是要在数字图书馆上实现个性化资料、个性化检索、个性化过滤、个性化服务等四种环境．数字图书馆可以开发个人图书馆、检索帮助、个性化信息咨询、信息代理、垂直门户等多种个性化信息服务。文献二十三阐述了数字图书馆个性化信息服务的概念、研究与应用的现状，并分析了实现数字图书馆个性化信息服务所需的技术。文献二十四强调个性化信息服务在数字图书馆中有其特定的定义，也是数字图书馆发展中的必需。根据网络环境下图书馆信息服务的内容及用户行为的不同，可以有多种个性化服务模式，有策略地开展服务。（三） 结果分析 从2005-2007年所发表的关于图书馆学个性化服务的论文可以看出，研究的主题和方向主要集中在以下几个方面：1． 数字图书馆个性化服务的概念研究。在中国期刊全文数据库检索到的89篇文章中，有40篇是论述图书馆个性化服务概念的研究。在这些文章中作者都对数字图书馆个性化服务概念有自己的认识，对于这个概念的研究也越来越深入。2． 数字图书馆个性化服务的方式研究。对于数字图书馆个性化信息服务模式, 也在摸索实践中。目前有以下几种方式：（1）信息分类定制服务方式。分定制是指信息用户可以按照自己的目的和需求，在某一特定的系统功能和服务形式中，自己设定信息的资源类型、表现形式，选取特定的系统服务功能等。（2）信息推送服务方式。是运用推送技术（push technology）来实现的一种个性化主动信息服务的方式。（3）信息智能代理服务方式。它是一种能够完成委托任务的计算机系统，能模仿人的行为执行一定的任务，不需要或很少需要用户的干预和指导。通过跟踪用户在信息空间中的活动，自动捕捉用户的兴趣爱好，主动搜索可能引起用户兴趣的信息并提供给用户。（4）信息垂直门户服务方式。通过汇聚网上某一特定专题信息资源并对其进行挖掘及加工，以满足用户基于专业的深入的信息需求。（5）信息帮助检索服务方式。如何帮助用户进行高效的信息检索也是当今数字图书馆信息服务向纵深发展的一个重要内容。（6）数据挖掘服务方式。从数据库中发掘人们感兴趣的知识，这些知识是隐含的、潜在的，目的是帮助用户寻找数据间潜在的关联。（7）信息呼叫中心服务方式。主要利用电话、传真等方式来服务客户，处理简单的呼叫流程。在这些方式中，现在比较热门的个人图书馆（My library）是上述部分个性化服务方式的具体应用，是当前开发应用较为成熟的图书馆个性化服务模式系统，也是一个完全个性化的私人信息空间。3．数字图书馆个性化服务关键技术研究。数字图书馆个性化信息服务的应用技术, 集现代信息技术之大成。它包括推送技术、智能代理技术、智能搜索引擎技术、网页动态生成技术、数据挖掘技术、信息过滤技术、过程跟踪技术、安全身份认证技术、数据加密技术等, 这些都可以为数字图书馆的个性化服务方式提供技术支持。4．国内外数字图书馆个性化服务现状研究。还有一部分论文是主要介绍当今国内外数字图书馆个性化服务的现状，通过介绍这些先进的技术和模式来指导我国数字图书馆个性化的服务。5．其他研究。除了数字图书馆个性化信息服务的概念、模式、技术和国内外研究现状外, 数字图书馆个性化信息服务的研究还就数字图书馆个性化信息服务的模型构建、用户评价、馆员角色的变化、存在的问题与对策等作了深入探讨。综上所述，这两年国内有关数字图书馆个性化服务的研究可谓是硕果累累，随着对数字图书馆个性化信息服务理论研究和实践的不断深入，我国数字图书馆个性化信息服务一定能够真正实现以用户需求为中心, 利用数字图书馆信息资源开展不同层次的、多种类型的、满足用户个性需求的有效信息服务。五 检索情况总结由于这个学期开了数字图书馆这门课，对于数字图书馆有一些简单的了解，特别是对个性化信息服务这部分内容有兴趣，课本上涉及得比较少，所以就把这个内容作为了检索主题。在选择检索工具时选择了平时最常用的两个检索工具，本来还选用了中文Google，想找一下国内在研究这个主题的项目或者网站，但是检索到的内容数量实在太庞大，而且检索到的大量结果都来自各个数据库的论文，最后就放弃了使用搜索引擎。在构造检索策略时，因为该主题比较简单，不用构造很复杂的检索式，就选择了“数字图书馆”和“个性化服务”作为关键词，开始有想到是不是需要使用与“数字图书馆”概念相近的“电子图书馆”或者“虚拟图书馆”，但考虑到国内现在已经比较统一的使用“数字图书馆”这个概念，使用其他两个词检索到的文章不多，所以还是以数字图书馆为重点。检索途径选择了关键词，题名以及主题词，在使用中国期刊全文数据库进行检索时，一开始是使用关键词作为检索途径，检索出423条记录，但是有很多文章与该主题相关度不高，所以采用了篇名作为检索途径，这样两个词同时限定在文章题名中，检索的相关度就非常高，但也可能会造成漏检。觉得自从学习检索课程以来，检索最难的就是检索式的构造，检索式构造的好与坏，直接关系到检索结果的好坏。维普提供的字段有题名或关键词字段，使用高级检索将两个检索词都限定在这个字段中，检索出来的结果相对比较精确。检索完成之后，接下来的工作就是分析检索结果，这其实也是难度挺大的一项任务，要看完150几篇文章不是一件简单的事，文摘和篇名这个时候就帮了很大的忙了，一般看文摘可以略知一二，需要了解详细内容的再打开全文阅览。从文章中归纳出研究的主要内容和方向，找出比较有特色而又不重复的内容，最后再整理出结论，这就是我整个辛苦但却有趣的检索过程。通过完成这次作业，首先就是复习与巩固了以往的知识，平时虽然也经常在进行检索，但是严格按照检索步骤进行的就不太多，也没有这么有条理的对整个检索过程做一个安排，并按照计划一步一步的执行，直到完成检索结果。其次就是以往做作业都是完成老师布置的具体任务，有些题目比较简单或是比较有兴趣的检索起来还好，有些比较深奥的主题做起来真的十分困难，没有专业背景，拿到题目和检索出来的结果就觉得十分茫然。而这次老师让我们自己选择题目，我就可以从自己的兴趣和想了解的领域下手，这样完成作业的过程也不再那么枯燥，兴致自然也大了很多。还有最重要的是，做作业的目的不只是完成作业，更重要的是有收获，巩固了检索知识自不用说，通过这次阅读大量文章，也算对所检索的主题有了一个大概的认识和了解，增长了知识，开阔了视野，可是说从完成这次检索作业中的确是收获不少。

1、抓取网页每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。2、处理网页搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分析超链接、计算网页的重要度。3、提供检索服务用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。全文搜索引擎在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。编辑本段目录索引与全文搜索引擎相比，目录索引有许多不同之处。首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。