本文转自：发展改革信息（ID:sh_fgw），来源：科技进步与对策，作者：张昭（华中农业大学）、伍莺莺（农业部科技发展中心） 【摘要】：英国于2014年首次启用REF对全国高等教育研究机构进行科研评价，REF在评价单元、评价指标、评价方法等方面较RAE有实质性变革，一定程度上代表了国际科研评价发展的新趋势。分析了REF的特点和走向，以及中英科研评价体系的异同，提出了我国科研评价体系的模式选择。 引言随着知识经济的日益深化，科学技术在经济社会发展中的地位日趋重要，科学研究肩负着国家发展的战略使命。科研评价体系在优化科技资源配置、提高科研管理水平等方面发挥着重要的导向作用，是做好科研管理工作的基本制度设计。英国早在1986年就开始探索对全国高等教育研究机构进行科研评价，在评价体系建设上积累了不少经验，对我国构建新型科研评价体系具有一定的启示。1 英国REF科研评价体系概况对高等教育研究机构进行科研评价是英国科研评价体系中最重要、最具特色的组成部分，经历了Research Assessment Exercise(简称RAE，科研评估活动)与Research Excellence Framework(简称REF，卓越研究框架)两个阶段。之前的RAE由于建立在同行评议的基础上，因而饱受主观性较强之争议，从2006年开始，英国尝试对其科研评价体系进行改革。经过近10年的酝酿，2014年英国首次采用REF对全国154所大学2008—2013年的科研状况进行了评价，评价结果已于2015年正式发布。REF较RAE在很多方面进行了改进和变革。1.1 评价组织方式英国科研评价体系的重要特点之一是以学科而非某一研究机构作为评价单元。REF对RAE采用的评价单元和专家组分类进行了重大变革，将RAE的67个评价单元合并减少至36个，这反映出评价体系设计者对跨学科发展趋势下评价模式的积极调整，同时也是对缩减评价成本、减轻政府财政负担的积极应对。评价主专家组由RAE下的15个缩减为4个。36个学科分类归入4个主专家组：A组为生命和医学类学科，B组为理工工程类学科，C组为社科管理类学科，D组为人文艺术类学科。这种分组方式既充分考虑了学科的差异性，又尽量保证了各评价单元间评价标准的统一性，以充分体现跨学科研究人员的价值。1.2 评价指标及内容 REF通用的评价指标包括3个方面：研究产出(Outputs)、科研影响(Impact)及科研环境(Environment)。同时，REF沿袭了RAE对科研活动总体质量的关注，对研究产出、科研影响、科研环境3项评价指标设定不同的权重，通过对3项评价结果权重合计得出总体研究质量概况(Overall Quality)，各指标权重及主要内容见表1。表1 评价指标及内容序号评价指标权重(%)评价时段指标内容及评价标准1研究产出(Outputs)652008.1-2013.12在学术期刊上发表的论文、出版的专著或其中的章节或者以其它方式传播的产出，如设计、演出、展览等。每名研究人员最多只能提交4项代表性作品。研究产出质量评价的标准是原创性、有影响力和严谨性(originality，significance and rigour)2科研影响(Impact)202008.1-2013.7任何对社会、经济、文化、公共政策或服务、健康、环境或生活品质带来的改变或收益，提交的材料包括案例研究(Impact Case Studies)和影响模板(Impact Template)。案例研究评价的标准是可以达到且有意义(reach and significance)，影响模块评价的标准是其所采取的方法和策略距离实现该影响还有多远3科研环境(Environment)152008.1--2013.12用于支持研究活动采取的策略、资源、基础设施，提交的材料包括环境模板(Environment Template)和统计数据(Statistic Data)。环境评价的标准主要是活力和可持续性(vitality and sustainability)资料来源：REF 2014 Key Facts， http://www.ref.ac.uk/pubs/keyfacts/评价指标更新是REF较RAE的一项重大变化，RAE评价指标包括研究产出(Outputs)、研究环境(Environment)及同行尊重(Esteem Indicators)3方面内容，而REF用科研影响(Impact)替代了同行尊重指标(Esteem Indicators)，并赋予其20%的权重。由此可见，评价关注的重点从注重成果本身的学术价值向学术价值与社会影响价值同时考虑方向发展。这反映出科研评价发展的趋势是引导科研成果在社会、经济、文化等各领域发挥作用。1.3 评价等级REF从总体质量的严谨性、研究产出的原创性、科研影响的重要性和科研环境的可持续性等方面，对各评价单元进行评估，并将评价结果分为5个等级，分别表示为：四星、三星、二星、一星、无星。四星的标准为达到世界领先水平(world-leading)；三星的标准为达到国际卓越水平(internationally excellent)；二星的标准为得到国际认可(recognizedinternationally)；一星的标准为得到国内认可(recognized nationally)；无星则表明研究质量未达到国内认可的工作标准(below the standard of nationally recognized work)，或工作不符合此次评价发布的研究定义(not meet the published definition of research for the purposes ofthis assessment)。1.4 评价方法REF接纳了量化的评估方法，将文献计量分析(bibliometrics analysis)与引用计量分析(citation analysis)引入评价过程，同时将RAE采用的同行评议(peer review)改成专家评估(expert review)。这一变化是对外界对单独采用同行评议方式易造成主观性强、公正性弱之争议的积极应对，也反映出在评价方法上定性与定量相结合的发展趋势。同时，REF力图避免量化评估的绝对化，其在科研论文或著作引用的量化分析方面采取了谨慎的态度：一方面REF关注科研论文、著作的被引频次，并对其进行数据指标的量化分析，将分析结果作为专家评估的主要参照；另一方面，REF也考虑到新发表论文被引量较少、不同领域内研究成果的被引用情况存在较大差异以及非英语类研究成果被引相对较差等问题，为了保证同行专家对评估活动方向的把握，REF仅将引用的量化分析作为参考而非直接的评审依据。1.5 评价结果REF不公布各参评单元在各评价指标中的直接得分，而是公布各参评单元在不同等级(四星、三星、二星、一星和无星)的分布比例，具体见图1。 图1 REF操作指南工作样例资料来源：Assessment Framework and guidance on submissions(updated to includeaddendum published in January 2012)这种评价结果公布方式至少具有两方面优势：一是科研评价结果间接充当着促使学术界名实相符和市场遵守规则的信息媒介，直接影响各研究机构获得科研拨款数额，公布评价星级和分布比例也可避免公布得分和排名的消极影响；二是评价结果只针对评价单元即学科而非整个研究机构，通过对评价单元进行评价可以反映出各研究机构在某些学科领域的学术实力，有助于某些综合实力一般但在某一学科上有突出优势的研究机构得到崭露头角的机会，从而鼓励各研究机构的特色化发展。2 英国科研评价体系特点及评析2.1 树立评价活动的公信力和权威性REF评价由英国高等教育基金委员会负责组织实施，该委员会是独立于政府和高等教育研究机构的中介组织。从参评规模以及评价结果的运用上看，无论是RAE还是REF都是被各方广泛认可的评价体系；在参与度方面，RAE和REF均采取自愿参与原则，2000年英国95%的高等教育研究机构主动要求参与RAE，2014年REF收到154所高等教育研究机构、52062名研究人员、191150项研究成果、6975份影响案例研究的申请；在政府认可度方面，自REF实施以来，评估结果即与政府对高等教育研究机构的科研经费分配直接挂钩。这种由中介组织、民间非营利性组织或学术团体承担科研评价任务的模式，能够在政府与大学之间建立起一片“中间地带”。评价活动由专业机构开展，政府减少对评价工作的干涉，有利于增强评价的科学性、公正性和透明性。英国政府虽未直接参与评估活动，但评估投入大部分由政府支出，评估结果也作为政府进行公共资源分配决策的重要依据。政府这种开明和支持的态度既是对RAE或REF在促进研究质量提高方面的认可，也能够有效提升科研评价体系的公信力和权威性。这种科研评价模式反映了社会分工、角色定位以及评价活动向专业化发展的大趋势。2.2 改进评价方法以适应学科发展需要英国科研评价体系的一大特色即以学科为评价单元。从学科发展层面将所有研究机构放在同一水平线上予以衡量，这既有利于更准确地了解某一学科的整体发展情况以及某一研究机构各学科在全国高等教育研究机构中所处的地位，也有利于引导高等教育研究机构实行错位发展，鼓励某些专业性研究机构培育优势学科，走特色化发展之路。随着多学科交叉及跨学科的发展，REF将评价单元从67个缩减合并至36个，这是对跨学科研究发展趋势的正面回应。从评价内容上看，REF力图摆脱评价维度单一的束缚，除对科研产出、成果影响等绩效指标进行评价外，还对科研投入、过程管理等提升研究机构可持续发展能力的指标给予了越来越多的关注。评价方法不再停留于简单使用同行评价一种方法，而是基于对数据的整理和挖掘，吸纳文献计量法等评价方法，采取同行评价与科学计量评价相结合的多元评价手段。无论是评价内容的优化，还是评价方法的改进，都是为了更好地适应学科发展的现实需要。2.3 发挥评价指标体系的导向作用科研质量导向是英国科研评价体系一大特点。纵观英国科研评价体系可以发现，其核心指标都是围绕科研质量设计的，研究产出质量占比达到65%，且要求最多只能提交4项代表作。这使得科研资助的机会逐渐向“高质量”科研项目和研究领域集中，研究机构要想获得发展空间，就必须将关注重点转向科研质量。将产出质量作为评价的核心，其背后也蕴藏着政府对“科研卓越”的价值预设及路径规划。鉴于科研对经济、社会、文化等各方面产生的影响，科研成果社会价值的地位也越来越高。REF积极地回应了社会和政府对科研成果价值的期待，创造性地将“科研影响(Impact)”作为一个独立元素引入评价指标体系，要求各研究机构在其评价申请中对其研究成果的社会实际贡献进行单独阐述。引入这一评价要素的目的是引导高等教育研究机构摒弃单纯以学术为中心、只关注科研产出和质量的做法，使研究机构和学者关注成果的社会影响和社会价值。将研究成果学术之外的影响纳入评价体系，表明英国对科学研究应当承担的社会公益和服务职能的认可。2.4 关于英国科研评价体系的争议制度总是在不断发展，随着社会发展阶段的演进而不断调整。REF在实施过程中也不可避免地存在一些争议，如：文献计量法的引入是否会促使一些短期投机行为出现，从而导致难以提前预知的中长期研究无人问津？引入“科研影响”这个评价指标后，研究机构和研究人员需要专门就其研究成果的影响力进行研究和个案分析，并形成独立的参评报告，这样做是否会增加参评机构和研究者的负担?“科研影响”指标设置是否会在研究机构中造成纯粹学术研究和社会影响之间的价值冲突，从而削弱研究者对纯粹基础研究的热情?诸如此类的争议和质疑还较多，但无论怎样，REF迈出了改革的步伐，并推出了一些革命性举措，代表了科研评价的发展趋势。3 中国科研评价体系与REF对比分析3.1 两种科研评价体系历史分析每种科研评价体系的形成都具有历史沿革性，都是当时社会科研环境的缩影。REF的形成具有以下特点：一是顺应社会经济状况的变化。20世纪80年代初，英国国内经济状况堪忧，政府开始进行公共部门改革，缩减公共支出，高等教育拨款相应减少，为了提高公共资金使用效益，英国开始在科研领域开展质量评估，评估制度随即应运而生；二是遵循了论证—实践—改进的基本路径。1986—2000年是英国科研评价制度的起步扩展阶段，2001—2008年是改革完善阶段，尤其是在2001年第5次评估后进行了两次大规模调查与反思，为2008年第6次改革提供了很多依据，2014年至今是优化阶段，新型科研评估制度即REF出炉；三是契合科学研究新趋势。调整评价单元、增加评价指标、改进评价方法等具体评估变革举措的出台，都是社会在不同历史发展阶段需求的体现。中国科研评价体系的建立与完善具有自身特点：一是科研评价体系具有很强的“改革”印记。科研评价体系服务于科技体制改革，其评价与完善在很大程度上反映了政府管理模式和经济发展方式的变迁；二是一直保持着以行政为主导的基本模式。在中国科研评价体系发展过程中，政府行政权力在很大程度上支配着科研评价，政府科研行政管理人员影响着科研评价全过程；三是评价体系对科研行为的引导作用非常明显。例如，近年来采取以量化指标为主的评价方式，导致论文发表数量和申请专利数量激增。3.2 两种科研评价体系现状分析作为一种社会制度安排，中国科研评价体系与REF存在很多共性：比如制度设计的目的都是为了对各类科研机构的科学研究情况予以总体评判，促进各机构不断提高研究质量和产出；随着社会的不断发展，科技与社会的融合度不断增强，评价时更加重视科学研究对社会进步的促进作用；评价结果均会直接或间接影响财政拨款或经费数额。受制于基本经济制度、文化传统、科技发展水平等因素，二者也存在一定的差异：一是在评价组织上，REF由独立于政府的第三方，即英国高等教育基金委员会负责组织实施；中国的科研评价受行政管制型社会管理模式的影响，评价的组织工作实质上由科技管理部门主导。二是在评估内容上，REF明确将“科研影响”和“科研环境”作为其评价的重要内容，关注科学研究对社会、经济、文化、公共政策或服务带来的改变以及研究工作的可持续性；目前中国科研评价主要关注研究产出本身，对研究成果社会影响及可持续发展潜力的重视不够；三是在评价方法的侧重上，英国科研评价由同行评议转至逐渐吸纳文献计量法，采取同行评价与科学计量评价相结合的方法；中国科研评价目前显示出较强的指标量化特点，主要关注科研产出数量。4 REF对重塑中国科研评价体系的启示近年来，中国科技投入与日俱增，科技创新能力显著增强，在投入与产出呈双增长的趋势下，如何构建一个行之有效的科研评价体系，进而引导资源的更优配置，提升产出质量，增强创新活力，成为极具时代意义的课题。英国科研评价体系的发展经验，为中国科研评价体系重塑提供了重要借鉴。4.1 在组织模式方面，作好顶层设计、设定统一标准目前，中国的科研评价总体比较分散，未形成统一的评价标准、评价组织和评价模式：对科研项目、科研基地的评价，由立项资助的不同主管部门操作；对科技人员的评价则分散在科研单位自身人事考核、岗位聘任、职称评审等各个环节。由于各评价主体关注的重点不同，评价标准、评价模式也各不相同。建议借鉴英国REF体系的做法，从国家层面构建一套完整的高等教育研究机构科研评价体系，充分利用自上而下的指挥棒，作好顶层设计，引导研究机构合理配置科研资源、提升研究质量；各研究机构再依据国家科研评价体系要求设计单位内部具体指标，从而实现该评价体系设立的初衷。4.2 在评价内容方面，明确科研产出和成果质量导向目前，我国在科研评价过程中过分强调论文发表数和科研项目数，这种重数量、轻质量的方式不利于成果积累和重大科技创新活动的开展。投入类指标在评估中所占比重较高，也导致“重申报、轻研究”的怪象出现。重塑中国科研评价体系，可参考REF将“研究成果质量”作为评价框架的最重要因素，推行代表作制，规定提交成果数量的上限，对不同质量等级的成果赋予不同权重，鼓励高质量产出，防止科研人员为追求数量而牺牲质量。此外，鼓励和认可多元化形式的成果产出，承认制定发布的行业技术标准、经批示的建议咨询报告、科学技术普及、科学技术推广等多种形式的研究成果对社会的影响和贡献。引导和推动科学研究朝着真正符合其致力于社会进步的使命的方向发展，强调成果的应用价值、解决生产实际问题和社会问题的能力，以此鼓励实用性成果产出，鼓励关注并解决社会需求。4.3 在评价方法方面，构建同行评审与科学计量相结合的评价机制目前，我国的科研评价标准过于依赖简单的量化结果，不仅不能全面反映实际科研水平，反而促使某些为了得到“有力支撑材料”的人想方设法出成果、凑数量。过度量化还导致“应试科研”、“SCI专栏作家”等科研怪象频出，催生了科技人员的急功近利和浮躁心理。量化评估应当支持而非取代质化的专家评审，评估者的判断不应让位于数字，量化指标不应取代建立在充分信息基础之上的判断。我国科研评价体系在评价方法的选取上应当注意定性与定量相结合，将专家评审、同行评议与量化指标结合起来。同时，应充分考虑不同研究领域、不同学科在发表和引用等方面的巨大差异，对纯理论学科与人文社科领域评价主要采用同行评审，对自然科学领域评价选择以同行评审为主，以科学计量为辅的评价方法。4.4 在评估周期方面，结合科学研究特点合理设置评估间隔时间英国的科研评价平均间隔4～6年，对高等教育研究机构开展的评价是全国性且统一的，评价指标、评价材料提交标准、评价中数据采集、分析过程以及最终形成的报告均公开、透明，可通过网络等途径进行查询。鉴于科研活动的连续性，为了创造一个稳定的科研环境，减少急功近利的科研投机行为，评估间隔时间不宜过短，建议科学设定评估周期，给科研人员一个缓冲期，给研究成果一个培植期，鼓励科研人员投身具有重大意义的中长期研究；逐步归并、减少不同部门的评估活动，避免让不同主管部门、不同格式要求的表格占用科研人员宝贵的科研时间和精力。在评估信息公开方面，增加信息公开度，提升评估过程和评估结果的透明度。