如何评价论文是否优良,除了无法量化的同行评议以外

评价一篇教育论文一般应从问题陈述、选题意义、研究方法、研究创新、分析深度、文章的结构和文字表达等方面去评价。重点是看研究课题的价值和研究者是否正确地解决了研究问题，或解决问题过程是否包含着创造性，是否达到研究目的。

今天这个题目，如果由一个研究比我做得更好的人来讲可能更有好处。但是现在来讲这样题目的人太少了，所以我愿意来把一些不是很成熟的想法与大家分享，也非常感谢大家来听我的讲座。我今天讲座的题目是《现实·理论·证据》，这三个词摆放的位置基本上概括了今天晚上所有要讲的东西。如果你们听完之后明白了我为什么这样摆放三个词的位置，我想你们就听明白我所讲的意思了。我这样安排今天要说的内容：首先简单讲一下关于如何做研究；然后具体讲写论文的过程中应该注意的问题，穿插一些例子。 一、如何做研究选 题(topic) ▶做研究碰到的第一个问题是选题。我们首先要区分选题和问题的差异。经常会有学生来问我怎样做一个研究，我就问他想要研究什么问题？同学就会列出一些关键词，比如教育、农业等等。这些关键词严格说来不是你要研究的问题。关键词只是你研究的话题(topic)，距离你研究的具体问题(question)还非常远。走完了topic到question的距离，你才迈出了研究的第一步，可以真正地开始一项研究了。选题要注意以下三个方面。 第一，你对什么感兴趣。如果对一个问题不感兴趣，你很难做出出色的研究。曾有一个硕士生跟我说，“陆老师，您有很多想法，随便给我一个我来做。”我对他说，我没有办法帮你，在你对这个问题感兴趣之前，你是做不好的。同学们在学习的过程中，一定会对某些问题感兴趣。有的时候你会有这样的体验，看到一篇文章时有激动的感觉，有时则不会，这就是兴趣的差别。一个人的兴趣与他的积累、阅读和个人经历都有关系。 来的路上王永钦老师跟我讲了一句话，我非常赞同：“大爱才能有大智慧。”怎么理解这句话？你在做一项研究的时候，一定要去论证自己的研究是重要的。怎么去论证研究的问题的重要性？就是这个问题的研究能改进人类社会、能为人类带来福利。接着问下去，这样的问题从何而来？那就要看我们能不能超越个人的喜乐、得失去关注整个社会的前途和命运。这就是兴趣的来源。一个好的经济学家应该有强烈的人文关怀和社会责任感。好的研究的起点是好的问题，这是成功的一大半。从这个意义上讲，做人和做学问是一致的。如果你不去关注对社会大众重要的问题，你十有八九做不成出色的学问；如果每天都想着争名夺利，就做不成出色的研究，因为你关注的问题对大多数人不重要。 第二，你要对这个问题有所理解，去选取你觉得重要的方面。数学不能告诉你什么是重要的，什么重要取决于你自己的理解。确定研究的方向后要根据自己的理解去关注更小的方面。比如在涉及三农问题的方方面面里，如果你觉得土地问题是最关键的，你已经往前走了一步。再接下来，你又认为关注“在工业化和城市化进程中，农村劳动力流向城市后，怎样使他们失去土地而获得社会保障”是重要的研究课题。如果你从三农问题出发，缩小到土地问题，再缩小到“如何用土地换保障”的时候，你已经从topic过渡到question了。 我举这个例子是特别想说明，中国的很多问题是现有的经济学理论无法告诉你的。比如，在城市化的过程中，农村居民失去土地，这是在全世界范围内大多数国家都有社会保障体制的背景下发生的。所以中国不可能像西方的圈地运动一样，圈走农民的土地，把农民往城里赶就不管了。从国家的现代化和政治文明来讲，都不可能这样做了。这就牵涉到“土地换社会保障”的问题。那么土地如何作价？农民拥有的土地权力是什么权力？价格制定好后，多少钱是现金支付，多少钱放到社会保障体系里？现成的经济学理论没有告诉我们。美国和西欧在历史上走过这个阶段时，这不是一个经济学问题，是社会、政治问题。因此，我们需要一个新的理论去思考中国的现代化和城市化过程。第三，你关心的问题为什么重要？主要体现在两个方面：理论上的重要和实践上的重要。最好的研究是两者兼有。我不能排除有些杰出的文章，是在理论上重要而实践上不重要，或者实践上重要但理论上不重要的研究，特别是经济学里那些在方法论上有开创性工作的研究，往往有学术和理论的价值，而没有直接的社会实践意义。 以上三方面，在你做一个研究或写一篇论文时需要一一加以说明。我们很多同学把做研究理解为构建一个数学或计量模型，非常不重视“写”。你把数学的工作完成了，计量工作完成了，我要提醒你，可能你的研究工作只完成了百分之三十，至多百分之三十。因为你还没有告诉我们为什么重要。 现在的社会科学分工,特别是经济学的分工，是非常非常细的。所以你拿到一百篇文章你可能对九十九篇的内容根本不了解，那么这剩下的九十九篇你看哪些呢？我们在平时看文章时先看摘要，它会告诉你他研究了些什么东西，做出了什么贡献，然后再看引言(introduction)，比较详细地回答前面的问题。最后看结论，看这个研究得到什么有创见的内容。最后才看文章的主体部分，理论和实证的模型。如果你的摘要和引言写得不好，别人看到五百字的时候，就不看你的文章了。如果你不重视这些，你的研究可能就产生不了它应该有的社会价值，所以一定要重视，甚至可能需要70%的时间来写引言。

第一方面，即总的原则是：基于指标的量化评估是第二位的，是辅助性的，而同行评价的质性评估是第一位，是主导性的。量化指标可以降低同行评价中的偏见，促进更加深入的审议，提高同行评价的质量，但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责，而不是完全让“数据说话”了事（第一条原则）。所以，“莱顿宣言”并不提倡科研评价要用量化指标，更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。第二方面，在总的原则指导下，运用科研评价指标做具体评价工作时的下位原则，即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点，所以需要在评价过程中特别注意科研活动的使命的差异（第二条原则）、地域性的差异（第三条原则）、学科性的差异（第六条原则）、个体性的差异（第七条原则）。这些差异容易被量化指标遮蔽，所以需要在评价中采用综合计量或者质性评估办法。第三方面，关于科研评价指标的具体数据采集和分析的要求，要公开透明（第四条原则）、可以复核验证（第五条原则）。第四方面，对科研评价指标的态度，要理解实质内涵（第八条原则）、警惕负面影响（第九条原则）、不断改进完善（第十条原则）。“莱顿宣言”每一条都内涵丰富，指向明确。与之对比，可以发现，我国科学评价工作还大有改进空间。“旧金山宣言”纠偏“以刊评文”“旧金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出关于科研评价的建议，在此基础上形成了“旧金山宣言”，2013年5月，78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注，《科学》杂志撰写社论支持“旧金山宣言”，认为影响因子最重要的危害是可能妨碍创新，它引导科学家关注发高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。

通过看论文作者是否是国际国内著名/知名课题组。这条和第一条有内在关联。通常的规律是，实验条件差、人员素质一般的科研机构很难做出重量级的成果。而重量级的成果，多集中出现在顶尖研究型机构中。比如，我曾经参观过MIT癌症研究中心Langer教授的实验室，他曾说“一流的成果申专利，二流的结果发SCIENCE和nature，三流的发顶刊”，全球几乎所有癌症工程学的研究者都跟他的实验室有关系。