返回首页      正文字号：

学术评价：应用定量工具要谨慎

沈固朝

2012-3-19 14:44:05　　来源：2012年03月19日《中国社会科学报》

　　引文工具对学术成果的评价是间接的，宏观或中观层面的，它难以在微观层面作出准确的判断。

　　我们常常陷入这样的“魔圈”：学术成果只有发表在学术期刊上才能得到社会公认；成果水平的高低取决于刊物学术水平的高低；刊物水平的高低取决于被引用情况……于是，刊物的影响因子就成为决定个人学术成果大小的重要指标。

　　20世纪80年代初，影响因子还只是图书馆学课堂上使用文献计量学术语，当今却成为领导、学者和编辑们使用最频繁的流行语之一。刊物的命运、学子的版面费、老师的职称似乎都与它发生了瓜葛。同样，文摘工具的推荐力亦使它们在相当程度上承担起了成果评价的任务。

　　不可否认，一本书、一篇文章能否得到他人不断地解读和引用，能否在更大范围内得到学术同行的认可，是体现其学术价值之所在，也是我们评价的重要标准。在这个意义上，引文工具（可能也包括文摘工具）的作用首先是通过检索和引用两大功能向读者推荐学术论文，它们是众多二次文献工具中的两个类别，检索是它们的本质属性，而评价只是它们的附加功能。尤金· 加菲尔德（Eugene Garfield）20世纪60年代初推行“科学引文索引”的初衷并非是对期刊、机构、学者等进行评价。他在1955年发表的论文《引文索引用于科学》中认为，作为科学文献检索工具，引文索引可以了解科学史和科学结构。

　　科学发展在于继承和创新。学术论文间引证和被引证的关系，恰恰揭示了科研活动之间存在的某种内在联系。因为引用文献包含了相似的观点、思路、方法，具有启发意义。但手工查找引文费时费力，于是才有了引文索引的编制。引用者发表文章即为索引中的“来源文献”，而刊载来源文献的期刊称为“来源期刊”（source journal）。“来源期刊”之所以常常被人们称为“核心期刊”，是因为这些期刊往往承载着某一学科领域的高质量学术论文，如果将学术期刊按其刊载该学科论文数量依次递减的顺序排列起来，可以区分出载文量最高的“核心区”，这就是文献计量学总结出来的期刊发展的集中与分散规律。这一规律普遍适用于国内外各个学科，SCI的JCR的指标正是依据这些规律而制定的，经过后人不断修正、研究和多方面的应用，成为选择和评价期刊的标准。

　　由此可见，可以尝试利用CSSCI以及《中国科学引文索引》（CSCI）、《中国科技论文与引文数据库》（CSCD）、《中国人文社会科学引文数据库》（CHSSCD）等依据同一原理创立的引文工具，回答以下问题：科学论文在各学科分布情况如何？在各学科产生了哪些具有较大社会影响力的研究成果？如何防止重复研究？如何在前人研究的基础上进一步推进研究？……引文工具的优点赋予了它们回答上述问题的能力，因为它们可以通过各学科论文的关键词数量以及关键词的变化趋势，考察各学科研究热点和研究趋势；通过各学科论文引用期刊的数量、期刊的影响广度、半衰期以及期刊影响因子评价各学科期刊的影响力等等。这些指标，可在一定程度上促进期刊提升学术质量、规范办刊行为、引导正当的竞争。

　　从上述情况可以看出，引文工具对学术成果的评价是间接的，宏观或中观层面的，它难以在微观层面（即对学者个人的成果）作出准确的判断。文献计量学工作者总会毫不避讳地指出引文工具在评价中的先天不足：第一，引用文献仅仅是引用行为这种复杂思维过程的表面联系。第二，文献被引用仅仅是从“度”上反映某种影响力，而影响力的解释本身就很复杂，没有同行的介入，没有对内容的认真分析，是很难得出质的判断的。第三，引用行为受许多因素的影响，诸如文献的可获得性、发表时间、语种、学科专业、著者语言能力等。被引次数上的微小差别，不能严格说明论文质量上的优劣，它有很大的偶然性。第四，刊物排名和影响因子的大小很容易受到以下因素的影响：某一时期发表大量的通讯、综述，载文量的急剧改变，刊名变更、关键词不确切等。缺乏对定量指标局限性的认识，不分青红皂白地用于所有层次、所有方面，会走入“定量指标=客观评价”的误区。

　　成果评价的内涵远比文献计量学所测度的内容丰富得多，复杂得多。如果仅用定量指标去评价复杂的脑力劳动和精神产品，评价会变得刚性、单一。定量观测结果虽然简单易用，且在宏观和中观层次上有一定的参考价值，但在微观层次上，很难对个性化的科研结果，特别是质量高低作出科学、合理的评价。“以刊代评”只具有统计意义，正如医院的化验报告和影像报告只是临床印象报告，不能代替诊断书。不同类型的科研与教学活动具有不同的价值标准，在缺乏对背景环境考察的情况下，用同一个指标不分对象、层次、内容地进行评价会造成一个不甚完善的结果。而我们的许多科研管理和绩效评估，恰恰是在微观层次上进行的。在这个层次上应用定量工具，一定要慎之又慎。

　　（作者单位：南京大学中国社会科学研究评价中心）

责任编辑：李秀伟