科技计划项目后评估中的专利评价方法研究

科技计划项目的后评估是在项目验收以后所进行的，项目后评估的客体是项目已经取得的成果，分析其数量和价值。成果数量的评估相对简单，而成果价值评估无论是对于学术成果，还是项目成果所产生的经济效益或社会影响，都难以做出准确的判断。专利作为科技计划项目的研究成果之一，有着重要的评估意义。科技部2002年启动“人才、专利、标准”三大战略以来，全社会对专利的重视程度逐步增强。随着国家专利战略的逐步推行，在科技计划项目后评估中，专利不仅仅要看数量，还要看质量，因此专利不再是一个简单的数字统计，专利评价已经从项目评价中的一个科技成果评价指标变为独立的评价体系。
1　应用SMART准则来建立针对科技计划项目后评估的专利评价指标体系
目前国内外已有的专利评价指标体系已经很多，有的从投入类、产出类、运营类对专利指标进行了分类[1]，有的从不同的层面(如公司、技术、与经济结合等)设定了专利评价指标[2]，但是如此庞大而分散的专利指标体系在实施中却有很大的难度，很多指标值不符合实际需要或者无法得到。比如多数指标体系中都把专利被引证次数作为评价专利所包含技术重要程度的核心指标，但是中国知识产权局所提供的专利文献数据库与美国等的专利数据库设计有所不同，其中没有直接的引用数据项，因此实际分析时便无法直接使用这一指标。
SMART被世界银行及许多国家政府部门和组织作为在评价工作中所普遍遵循的评价指标体系设计准则[3]。SMART是五个单词的词首字母组成的简写，这五个单词是：特定的(specific)，可测量的(measurable)，可得到的(attainable)，相关的(relevant)，可跟踪的(trackable)。本文结合科技项目后评价的特点，在专利评价体系中设计中引入SMART准则，基本要点如下：
(1)特定的：科技计划项目一般是考虑影响经济发展，有望带动产业结构升级和促进社会持续发展，目前尚未解决的重大技术难题的科研项目。这些项目由于其目标系统、实施过程、效益体现等与一般项目有所不同，因此其事后评估的内容也有其特殊性[4]。因此在设定专利评价指标体系时，要考虑评价工作的目的，指标体系应该具有特定性和专门性。
(2)可测量的：对于专利指标进行评定应当有相应的标准，以相同的标准作为统一的尺度，来衡量被评价对象的表现。这里的可测量性要求并非强调一定是定量指标，对于定性指标的测量只要建立详细的评价标准，也认为是可测量的。
(3)可得到的：设计专利指标数据时要考虑该指标是否能够得到，有什么样的获取渠道和方式。有一些无法获得的指标要放弃，还有一些定性指标数据难以获得，可以采用一些近似方法获得数据。
(4)相关的：指标体系的相关性是指指标之间应该有一定的逻辑关系，不能是很多指标的堆砌。指标体系应该是相互之间具有有机联系的个体指标的组合。对专利进行评价时，考虑科技计划项目的特点，应该从数量、技术、经济和社会影响等多方面将指标进行划分和联系。
(5)可跟踪的：在设计专利评价指标体系时，还要考虑专利指标是否便于跟踪监测和控制。科技计划项目具有可持续性，很多项目是前期工作，还有后续项目的继续，通过专利评价起到监督作用。为了便于以后专利评价工作的开展，专利指标设计应该是可以跟踪监测的。
根据专利指标设计的SMART准则，结合科技计划项目后评估工作的实际情况，作者设计出相应的专利评价指标体系如下表1所示：

2　基于数据挖掘的专利情报分析方法
上述专利评价指标体系中的部分指标值可以很容易得到，比如数量类指标，但是还有一部分指标是无法直接取得，如技术类指标。如果对这部分无法直接取得的指标都采用专家打分的方式则缺少评判的依据，主观性较大，因此我们采用基于数据挖掘的专利情报分析方法对项目专利群进行技术分析，得到相应的分析结果作为专家评判的依据。
专利情报分析是指对来自专利说明书、专利公报中大量的、个别的专利信息进行加工及组合，并利用统计方法或技术手段使这些信息具有纵览全局及预测的功能，并且通过分析将原始的专利信息从量变到质变，使它们由普通的信息上升为有价值的情报[5]。基于数据挖掘的专利情报分析的工作流程主要包括三部分：数据获取、数据分析和竞争情报分析，如下图1所示。

图1　专利情报分析流程图
在进行专利情报分析时，我们不仅仅要对科技计划项目本身的专利群组进行分析，还要对该项目所涉及的技术领域的专利文献进行分析，将项目的专利数据放到国内外整个大环境中来比较研究之后才能对该项目专利群做出客观准确地评价。
2.1　数据获取
大量专利文献散落于各国的专利局与专利公报，如果要对某领域专利信息进行专题分析就必须系统地收集与整理这些专利，形成专题专利情报分析数据集，并以竞争分析为出发点，对其进行监测跟踪，以及时获取、更新数据。
在获取数据时，首先要确定专利数据来源，一般我们采用中国知识产权局公布的中国专利数据库和美国商标局公布的美国专利数据库，这两个数据库都在官方网站上公开免费提供。其次，对于科技计划项目本身所申请的专利，可以根据专利号从网站上下载数据；但是对于该技术领域专利数据的获取，则需要确定该技术领域的主题词，下载该领域的专利文献数据，形成原始专题数据库。
在得到专题数据之后，还需要对数据进行预处理。数据预处理是将科技文本数据转化为适合进行专利情报分析的可靠的精确的数据。这个过程主要包括四个阶段：数据清洗、科技分词、去除噪音词、数据格式化。经过数据预处理后，将文本数据转化为适合于专利情报分析的多属性数据库。
2.2　数据分析
对专利进行数据分析可以采用技术组(群)自动识别和分类技术，它是利用多维统计分析和因素分析法来对技术进行聚类分析[6]。在专利技术关联分析中，通过计算专利技术相关关键词之间的共生关系来确定该组专利文献内部所包含的技术组(群)。技术共生关系分析是通过对反映文献主题内容的词进行关联性或相异性定量分析，来研究文献内在联系和科学结构的一种方法，计算方法如下：：

式中，x，y代表关键词，m是文献的数目，b代表每列关键词组成的向量。这样，我们计算出了关键词之间的关联矩阵。
2.3　情报分析
经过数据分析，可以得到专利文献关键词的关联矩阵，需要用图谱可视化技术显示情报关联图。图形输出 时，根据需要对一般由点、线、面、体等基本图形元进行含义映射，使得数据的不同特征直观体现出来，然后在利用计算机图形学的各种处理算法绘制出相应的图形元[7]。
我们采用网状图的方式显示专利关键词之间的关联关系。网状图中主题关键词间的联系用线条表示，线条长度表示两主题间的相关程度。一个主题与其它主题连线短而多，一方面说明该主题与其他主题有着较强的关系，另一方面也说明该主题的开放程度较高，主题的外延在不断发展。通过图形分析，我们可以很容易将该项目所申请的专利状况与目前国内外该技术领域的专利状况进行对比分析(如下图2所示)。从上面两幅图对比观察发现，该项目所申请的专利研究主题分为4个组群，中国专利研究主题分为4个组群。虽然两个关联图的研究主题不大一致，但两者中都有服务器、路由器等组成的组群和控制器、光通信等组成的组群，这说明该项目的专利研究方向与国内该技术领域的研究方向是大体一致的。
3　应用层次分析法求出指标权重

图2　专利技术可视化对比分析图
进行专利评价，不仅受到评价指标项的影响，而且受到每个指标项相对重要程度的影响。层次分析法(简称AHP)是由美国匹兹堡大学著名运筹学家A. L. Saaty于本世纪70年代中期提出的。它为分析复杂的社会系统，对定性问题作定量分析提供了一种简洁的方法[8]。该方法目前在许多决策规划中得到应用，本系统也采用此方法进行研究，采用层次分析法与专家咨询结合计算指标权重。
层次分析法的计算步骤：(1)对问题所涉及的因素进行分类，建立指标体系；(2)根据指标体系构造各因素相互联系的层次模型(如表1)；(3)构造比较判断矩阵，对同一层次的各因素通过两两比较，确定出相对于上一层的各目标的权重，并进行一致性检验；(4)计算组合权重，即得到各指标的相对权重。本文中判断矩阵根据专家咨询得到。通过计算，得出指标的各个权重。

4　构造专利模糊综合评价决策模型
在对科技计划项目的专利群进行综合评价时，需要根据各个指标进行评价，但是这些评价指标有的可以得到确定的数值，有的不能给出定量的评价值。为了系统地考虑主观评价与客观评价，定性评价与定量评价有机结合，我们采用模糊综合评判法。
模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清，不易定量的因素定量化，从多个因素对被评价事物隶属等级情况进行综合评价的一种方法。其优点是；对多因素、多层次的复杂问题评判效果较好[9]。
4.1　建立评语级
对评价指标体系中的指标，需要将指标值(部分可直接得到的定量指标)和专利情报分析的结果(反映定性指标情况)提供给专家参考，然后由专家判定评语级。评语级是用来对专利技术进行等级评价的，它由数个评价等级构成。它通过采用语言变量和模糊数来处理难以定量化的问题，进行定性指标的量化及其隶属度向量的确定，从而表示决策人对各指标的满意度。
为了最终专利评估的准确性，要力求划分的精细，但过多的等级设定会使专家因为划分过细造成给出的结果摇摆性强，从而可能造成不必要不精确的计算，同时也为了避免隶属度分配上的困难，我们将评语等级设定为五级，

4.2　构造单因素模糊关系矩阵
先进行单因素评判，即单独从一个评判因素出发，确定评判对象对因素等级的隶属程度。假设有m个专家参与评判打分，统计m份专家调查表，将每份调查表形成0、1矩阵(即在打分的等级处计为1，其他为0)。依据该矩阵计算各指标的评价隶属度，我们可以采用公式：评价隶属度=该评价等级评价人数/评价总人数，由此建立各指标的评价矩阵，包含专利评价权重及评价隶属度。则每个单因素i都对应一个等级评判矩阵


其中i是单个因素，k是第i个因素中的子因素数。
4.3　模糊综合评判过程
(1)一级模糊综合评判过程
综合考虑所有因素的影响以及各因素的权重，用模糊矩阵合成运算，得Ai的评判指标集，即W=A。R，其中A为前面用AHP法求出的权重向量，R为模糊矩阵，W为评判集。算子“。”为广义模糊合成算子，它根据不同的实际情况和评判者强调的重点有不同的取法，考虑到专利评价应该充分考虑到所有参与评价者的意见，本文中用加权平均型算法，即取“。”=(+，·)，则A。R等同于普通矩阵的运算法则。通过以上步骤，得到了Ai的评判指标集Wi。
(2)二级模糊综合评判
对单因素的模糊评判只反映了某一个因素对评价对象的影响，这是完全不够的，我们需要的是最终对评价对象的综合评价。

5　结论
目前如何在科技计划项目后评估工作中正确合理的评价项目所申请的专利技术群已经成为评估工作中的重要组成部分，传统的只统计专利申请量的做法已经遭到各方面的质疑，在“专利要数量，也要质量”的社会呼吁日益高涨的情况下，加紧对专利产出的评价工作迫在眉睫。但是现在有关专利评价的研究方法还不够系统化，并且难以实际操作。作者根据自己近几年来从事专利情报分析工作的经验积累，结合评估工作的实际情况，提出以基于数据挖掘的专利情报分析工作为基础，用层次分析法和模糊评判法建立专利测评模型，希望能为科技计划项目专利产出的评估工作提供参考。