基于Internet个性化信息检索技术的分析与研究

摘 要 随着internet上的信息量急剧增加，如何使用户获得有用的信息已成为信息检索系统急需解决的问题，个性化的信息检索是解决目前存在问题的关键。本文对目前的个性化检索的关键技术进行了分类分析，并讨论搜索引擎个性化的发展趋势。 关键词 信息检索；个性化；agent；挖掘；推送 1引言 网上信息极度膨胀导致查找信息犹如大海捞针，虽然google等优秀搜索引擎提供了大量的信息资源，但仍需根据检索到的地址信息，按照页面屏幕的提示向下追踪。特别是对于那些对专业信息有迫切需求的专业人士来说，难以迅速、准确地获得有价值的网上信息资源因此用户迫切希望找到一种能够在信息海洋中自动获取实用、准确、精炼的信息的工具。 为了改善信息检索与提供信息的质量，就必须实现信息检索的个性化，下面针对实现信息检索个性化的关键技术进行分析。 2 个性化信息检索关键技术 2.1智能代理agent^[1]-[6] 智能代理又称智能体，它是在用户没有明确具体要求的情况下，根据用户需要，代替用户进行各种复杂的工作，如信息查询、筛选及管理，并能推测用户的意图，自主制定、调整和执行工作计划。它使用自动获得的领域模型(如web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构)、用户模型 (如用户背景、兴趣、行为、风格)知识进行信息搜集、索引、过滤(包括兴趣过滤和不良信息过滤)，并自动地将用户感兴趣的、对用户有用的信息提交给用户。智能代理具有了不断学习、适应信息和用户兴趣动态变化的能力，从而提供个性化的服务。 从用户的角度来看，采用智能代理技术的应用服务系统在不间断地为他们工作，用户只在必要时才需要参与。和传统网络服务的点击—反馈方式比较，这种方式使用户大幅度提高了网络使用的效率。 从应用的角度来看，智能代理就是能自动执行用户委托的任务的计算实体，它有着极其广泛的应用，如邮件过滤代理、信息获取代理、桌面自动代理等。 从技术的角度来看，智能代理是以各种技术为基础，集合了许多实用的应用特性，从而能自动执行用户委托的任务。智能代理的两个主要特征是代理的智能性和代理性。智能性是指应用系统使用推理、学习和其他技术来分析己提交的或刚提交给它的各种信息和知识的能力。代理性是指一个代理感知其环境并相应动作的能力，这其实就是强调代理的自治能力和感知能力。 智能代理有两个主要技术特征:智能性(intelligence)和代理能力(agency).智能性指应用系统使用推理、学习和其他技术来分析解释它已接触过的或刚提交给它的各种信息和知识的能力。代理能力指一个代理感知其环境并相应动作的能力。 智能代理包括四方面的关键技术:机器技术(machinery)、内容技术(content)、访问技术(access)、安全技术(security)。 机器技术: 机器是指各种在人工智能领域中开发的、支持各种程度智能的引擎。这些引擎包括有:各种形式的推理引擎、学习引擎、用户创建修改规则和知识的工具、验证规则集的工具和用于开发代理之间、代理和用户之间进行协商和协作所需策略的工具。 机器技术中的核心是推理机和学习机，它们提供了智能代理所需的推理能力和学习能力。推理机依赖于外部的事件和外部数据，通过外部接口输入而进行逻辑推理，从而使代理产生各种可能的行为。学习机则提供了修改规则，包括增加新规则、修改过期的规则、增加新的事实和修改无效的事实、修改信任系数等。 事件是指代理检测到有新的知识或内容，对于代理来说，有新的知识或内容出现则标志着代理环境的改变。事件的定义是由用户和开发者来完成的，它可以是一天中的某个特定时间、一封email的到达、某个数据库中值的改变或用户表示的一个新目标和参数选择。当某一事件发生时，将激发相应的事件开关而激活机器中的某个引擎，激活的引擎将根据输入的事件信息而决定是否要做出响应。在代理中，响应是通过对应用功能的调用来完成的，并且每一次响应都需要机器和应用之间进行某种形式的绑定。 内容技术:指机器用于推理和学习的数据，但它不一定就是知识，它主要包括属于结构化知识的规则、语法，大量非结构化的通用知识和结构化的数据。内容作为代理系统能够内核访问的系统数据也存在于核心中，它提供代理系统工作所需要的各种知识和数据，同时机器也可以直接对其进行更新。 内容技术与机器技术是息息相关的，它是机器技术中推理机、学习机等引擎的基础。内容是指机器用于推理和学习的数据，但它不一定就是知识，它主要包括属于结构化知识的规则、语法，大量非结构化的通用知识和结构化的数据。 规则主要是用户策略选择参数的表达，同时也是对现实世界中知识的可解释的表示。目前，在人工智能领域中己经有一整套知识表示的工具，这些表示工具正是机器技术中的引擎。语法主要用于支撑代理之间和代理和用户之间的对话，它的开发和维护是通过机器技术中的策略开发工具来实现。 非结构化的通用知识通常是以自由的文本形式存储，可能也会以一些象html格式的简单形式存储。代理必须对这种自由文本形式的知识进行处理，因此代理需要不停的使用过滤工具和自然语言工具来分离出结构化的信息。结构化数据不是一种知识，代理可能需要用户进行引导或进行明确的解释才能知道数据的意义。这其实就是使代理能够通过对用户行为的观察或其他启发进行学习。 访问技术: 访问是指代理与周围环境进行交互。代理与周围环境的交互可以分为代理应用之间的交互与代理和用户的交互。代理应用之间的交互又可分为对本地环境与远程环境的访问。通常，对于本地环境，通过将访问函数直接结合到api中，或通过共享内存、数据库和文件系统的方法就可以实现代理对环境的访问。 而对于远程环境，代理就必需使用分布式技术，如消息机制、远程过程调用和其他标准的协议来实现对远程环境的访问。 对于代理和用户之间的交互，可以采用会话式的用户界面来进行会话，通常这种会话式的用户界面由用户界面代理来运作。用户界面代理利用自己已有的一些会话上下文来匹配用户的输入。另外一种代理与用户的交互方式就是代理利用用户的事件和动作来进行响应的动作。经常采用的方法有:重定向用户界面、重定向客户服务机消息、监视email,监测用户与操作系统之间的交互等。 而安全机制是为了实现于外界的安全访问而设置。外界是代理的交互对象，应包括所需要的原始信息源、用户、代理所属的应用系统、其他代理系统等。 当智能代理应用于网络上，帮助用户找到、发现信息，或按照用户的意愿完成某项简单的任务时就被称为信息代理。 信息代理采用各种方式来完成用户赋予它们的任务，对于搜索引擎，信息代理主要有以下几种:web搜索代理(web search agents)，采用http协议跟网络服务器进行通信，它主要为大量搜索引擎提供资源，有不同的搜索策略，如深度优先、宽度优先、引用最多的link优先、最短的url优先等等;信息过滤代理(information filtering agents)，提供个性化报纸、个性化计算机新闻、进行邮件过滤、新闻组过滤等，并根据用户的描述，自动下载相关的主页;通知代理(notification agents)，如果用户关注的url内容发生变化，将通知用户，如果用户关注的其他事件发生，则提醒用户;此外还有提供其他服务的agent，如提供娱乐方面的服务、提供各种咨询服务、提供分类广告服务,介绍工作提供商业信息服务等等。 用于信息服务的智能agent主要完成以下功能:导航，即告诉用户所需要的资源在哪里;解惑，即根据网上资源回答用户关于特定主题的问题;过滤，即按照用户指定的条件，从流向用户的大量信息中筛选符合条件的信息，并以不同级别(全文、详细摘要、简单摘要、标题)呈现给用户;整理，即为用户把已经下载的资源进行分门别类的组织;发现，即从大量的公共原始数据中筛选和提炼有价值的信息，向有关用户发布。这些都是使信息服务走向个性化主动服务不可缺少的功能。目前在此方面己经有了一些能够使用的系统，但智能化的程度还远远不够，且主动有余的过滤不足己经造成了一些负面的影响，有待尽快发展更先进的人工智能技术予以解决。 2.2网络信息挖掘(web mining)技术^[7]-[8] 网络信息挖掘源于数据挖掘。数据挖掘就是指从大量数据(如数据库)中提取抽象的、潜在的有用信息的过程，它是数据库中知识发现kdd的核心，为大量数据的利用提供了有效的工具。数据挖掘的成功使研究人员将数据挖掘技术用于因特网，但是由于www上的数据不同于传统数据，故产生了一个新的研究方向—网络信息挖掘。 网络信息挖掘，又称为基于web的数据挖掘，是从大量数据中抽取处先前未知的、完整的、可信的、新颖的、有效的信息的高级处理过程。它是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等方法得到数据对象间的内在特性，据此采用信息过滤技术在网络中提取用户感兴趣的信息或者更高层次的知识和规律来做关键的决策。网络信息挖掘其实就是对文档的内容、要利用资源的使用以及资源之间的关系进行分析。 网络信息挖掘分为web日志挖掘、web内容挖掘、web结构挖掘。具体而言，web日志挖掘是通过分析web服务器的日志文件，对用户访问web是服务器方留下的访问记录进行挖掘，从中可以得出用户的访问模式和访问兴趣，丈站点管理员提供各种利于web站点改进或可以带来经济效益的信息。在个性让服务模型中，可以利用日志挖掘来“监视”用户的访问习惯，进行个性化分析处理。web内容挖掘包括web文本挖掘和多媒体信息挖掘:web文本(包括text、html等)挖掘的目的是对页面信息进行聚类、分类和关联分析，以及利用web文档进行趋势预测、分析等;多媒体信息挖掘是对多媒体文档(包括图像、声音、图片等媒体类型)的挖掘。web结构挖掘是对web页面超链接关系、文档内部结构、文档url种的目录路径结构的挖掘。 网络信息挖掘技术有着广泛的应用，尤其是web的全球普及，使得web上信息量无比丰富。web上的信息主要是文档，一般是半结构化或者是纯自然语言文本，毫无结构，因此web上的开采发现需要用到不同于常规数据开采的很多技术。在使用web获取信息的过程中，用户需要不停地从一个web站点通

过超文本链接跳转到另一个站点，这种过程存在一定的普通性，发现此规律即是web用户访问模式发现。理解web上的用户访问模式有这些好处:辅助改进分布式网络系统的设计性能，如在有高度相关的站点间提供快速有效的访问通道;能帮助更好地组织设计web主页;帮助改善市场营销决策，如把广告放在适当的web页上或更好地理解客户的兴趣。这项技术将给信息检索领域带来革命性变化。 2.3信息推送技术^[9]-[11] 目前，人们从网上获取信息通常采用以下三种模式:信息推送(information push)，即由信源将信息主动推送给用户;信息拉取(information pull)，即由用户主动从信源拉取信息;推拉结合(push and pull)，即在信息获取过程中既有来自信源的推送也有用户自身的主动拉取. 一、信息推送模式，网上信息的推送主要采用下面几种方式: 1.频道式推送 频道式网络播送技术是目前网上普遍采用的一种推送方式，它将某些网页定义为浏览器中的频道，用户可以选择收看感兴趣的、通过网络播送的信息。 2.邮件式推送 用电子邮件方式主动将有关信息发布给列表中的用户。 3.网页式推送 在特定网页上将信息提供给感兴趣的用户。 4.专用式推送 通过机密的点对点通信方式，将指定的信息发送给专门的用户。 信息推送模式及时性好，应用面广，对用户没有技术上的要求，但信息针对性差，难以满足用户的个性化需求。 二、信息拉取模式 网上的信息拉取技术是数据库查询、检索技术的扩展。在因特网应用的早期，人们主要是在网上进行漫游和浏览，现在随着因特网应用的日渐深入，人们愈来愈迫切地希望能从因特网中快速获取自己所需的特定信息，各种“搜索引擎”应运而生。目前流行的搜索引擎主要有两类: 1.分类式搜索引擎 按网站的目录分类，对站点、网址及摘要信息进行搜索 2.全文检索式搜索引擎 提供全文检索功能，用户利用关键词可将与该词相关的各个网页的地址及相应的一段全文信息提取出来。 信息拉取模式针对性强，能满足用户的个性化需求，但及时性差，对用户要求较高。 三、信息推拉模式 信息推拉技术是将信息推送与拉取两种模式结合，使二者优势互补。根据推、拉结合顺序及结合方式的差异，又分以下四种不同推拉模式: 1.推后拉—先由信源及时推送公共信息，再由用户有针对性地拉取个性化信息; 2.拉后推—根据用户拉取的信息，信源进一步主动推送与之相关的信息; 3.推中有拉—在信息推送过程中，允许用户随时中断并定格在感兴趣的网页上，以拉取更有针对性的信息; 4.拉中有推—根据用户搜索(即拉取)过程中所用的关键字，信源主动推送相关的最新信息。 推送技术，就是根据用户的需求，有目的性地按时将用户感兴趣的信息主动发送到用户的计算机中，即实现“信息找用户”。 在推送技术问世之前，人们往往利用浏览器在因特网上搜寻，一方面，面对浩如烟海的信息，很多用户花费相当多时间和费用也难以“拉取”到自己所需要的信息;另一方面，信息发布者希望将信息及时、主动地发送到感兴趣的用户计算机中，而不是等着用户来拉取。 推送技术使服务器能够自动告诉用户系统中哪些信息是最新更新，并自动搜集用户可能发生兴趣的信息。通常，在网络服务器上有专门的推送软件产品可用来制作欲推送出去的信息内容，并播送出去。在客户端则利用安装在个人电脑中的软件，来接收从网络上传来的信息，并显示出来。当有新的信息需要提交时，“推送”软件会以发送email、播放一个声音、在屏幕上显示一条消息等方式通知用户。使用push技术，可以提高用户获取信息的及时性和有效性。 目前有两种基本的推送技术:自动推送技术和事件驱动技术。 自动推送即用户要求发送方按照预先约定的时间和定制提交新的信息。具体的实现步骤是:首先用户提出他们对某个特定的web站点、某个专题感兴趣，或要求自动更新软件、数据;其次，信息发送方根据用户的请求，用推送软件的应用程序到特定或需要的web站点寻找新的内容;如果自最近一次传送后，又输入了新的内容，该内容将被传送到位于推送应用程序“接收器”中的“频道”内;最后用户可以根据他们的设置查看自己定制的新内容或新链接;这种推送技术类似于现代情报检索中比较流行的定题资料选报服务。 事件驱动技术以规则为基础，这些规则由用户、推送管理员和发送方在设置时预先建立，可以是驻留在服务器的关键字过滤器，也可以是针对数据库检索的相关规则，该数据规定在x发生的情况下，y必须传送到z(z可以是用户、服务器、存储设备、传真机或寻呼机)。基本思想是:推送管理方判断预先设置的规则是否发生，如发生则将相关信息或内容提交给用户。 自动推送和事件驱动技术二者最大的区别是:自动推送必须要求有一个明确的提交时间表，而事件驱动则是以事先确定的驱动规则为基础，存在一个内容与规则之间对应关系的中间层。事件驱动技术减少了信息的负载量，使信息流动的速度大大提高。 实际上，“推送”和“拉取”这两种技术是互为补充的。面对海量信息，要高效率、高质量地获取实用信息，将“推送”和“拉取”相结合的智能信息“推一拉”技术将会是未来网上信息获取技术的一个重要发展方向。在传统的internet中，信息的传输是按“pull”的模式进行的，服务器提供的服务是被动的;而采用“push+pull”的方式，服务器不仅要把信息推给客户，而且还能够按照客户预先设定的触发事件和发送要求，在条件满足时自动向客户发送消息。真正的个性化应该是动态而主动的，在最初的规则制定好之后，系统能够自动跟踪用户的使用倾向，因此，使用者在初次设定之后，他想要的东西系统已经自然而然地预先想到了。这样的个性化服务不再仅仅停留于大众化的娱乐性或专业性资讯信息的提供，而是把用户的许多个人业务处理加入了服务的范畴。这种新的个性化信息服务将成为一种深入到用户个人生活和工作的各个层面的辅助性工具。 3小结 当前实现internet上搜索引擎的个性化是信息检索领域的重要课题。本文主要分析了基于internet的个性化信息检索中的几个关键技术，随着信息检索中个性化研究的进一步深入，用户建模技术、web网页识别技术、信息过滤技术、人机交互技术等都将是研究的重点^[12]。 参考文献 [1] 张宏斌，朱明富，陈德军 智能化搜索引擎技术的研究进展,信息与控制,2003,6(32):526-530 [2] 陈鑫,常致全.智能化搜索引擎原理及实现,计算机应用,2003,(23):191-193 [3] 张兴华.智能搜索引擎的机理、实现技术及发展趋势，现代情报，2003,(12):66-68 [4] 朱素媛，马溪俊，梁昌勇.人工智能技术在搜索引擎中的应用,合肥工业大学学报(自然科学版),2003,(26);657-661 [5] role of intelligent systems in the national information magazine，fall 1995，45-64 [6] james jansen using an intelligent agent to enhance search engine performance. http://www. issues/issue2_3/jansen/index .html [7]刘斌.web mining:第二代网络信息处理技术..cn/2000/0029 [8]袁莉.基于web的个性化信息服务机制.2001年毕业论文 [9]崔雅萍.推送技术.国际电子报.1998(29) [10]涂序彦.智能“推一拉”技术.计算机世界.2000(15) [11]彭岩.网络信息“推送”技术. http:// / [12]2004年中国搜索引擎研究报告,http:// .cn