用户驱动：欧洲版国际大学排名的新趋向
2013/02/07
 

用户驱动：欧洲版国际大学排名的新趋向
 
 
      摘要：U—Muhirank是由欧盟资助開发的一项新的国际大学排名，主要是针对当前国际大学排名聚焦于研究型大学而无法有效识别高等教育机构多样性的弊端进行设计的。U—Mulitrank引入了“以用户为主导”的排名新理念，其目标是形成一个由用户驱动的、多维度和多层次的国际大学排名工具。U—Multirank从概念框架的设计、指标的选取到结果的应用等主要环节，都贯彻了这一理念。
　　关键词：欧洲多维度大学排名；用户驱动；国际大学排名
　　中图分类号：C649.1
　　文献标识码：A
　　文章编号：1672—0059（2012）05—0076—05
　　2008年年底，欧盟公布了一项招标项目，将提供110万欧元的资金支持，用于開发一种能够替代当前国际大学排名的新设计方案。众所周知，在当前有影响的国际大学排名中，排名榜的“顶部”基本被美国大学垄断，欧洲大学虽然在总体数量上与美国大致相当，但是在排行榜中却总是处于落后位置。例如，在上海交大2009年发布的国际大学学术排名榜中，前10所中的8所、前50所中的37所大学都来自美国；相比之下，前50所中只有10所来自欧洲。再如，在英国《泰晤士报高等教育增刊》过去六年发布的世界大学排名榜中，美国有12所大学占据了前20名的位置，而欧洲只有4所英国大学入围，偶尔还会有一所法国大学。在排名榜中的落后地位严重制约了欧洲高等教育的国际影响力，因而欧盟对现存的世界大学排名非常不满，认为它们存在以单一指标体系对大学活动进行测量的通病，尤其对英文类的公開出版物给予太多的指标权重。有鉴于此，欧盟不惜重金開发欧洲版本的世界大学排名体系，并声称它将“充分考虑到被排名的教育系统的语言、文化、经济和历史背景”，以提供一种公平有效的国际高等教育机构间的比较。
　　U—Muhirank，即“欧洲多维度国际大学排名”，就是该项目历时两年的開发成果，由高等教育和科研绩效评价协会（CHERPA）承担開发。2011年6月9日，在布鲁塞尔召開的发布会上，開发人员对U—Multirank的初步成果予以展示，并称U—Multirank与现存国际大学排名的实质性区别在于，它是一个“全新的、由用户驱动的、多维度和多层次的高等教育机构的排名工具”。U—Muhirank自公布以来，因其“用户主导”和“多维度”的排名特征与方法而引起了社会各界的广泛关注。鉴于国内对于该项目的介绍和研究还不多，本文拟从“用户主导”的视角来对U—Multirank的排名理念、方法、技术路线、使用特色等进行解读，并对其价值意义作初步评介，以供国内同仁学习借鉴。
　　一、U—Multirank的设计理念：以用户的需求为主导
　　就“消费”性质而言，大学是一种“经验产品”或“信誉产品”。所谓“经验产品”：是相对于“搜寻产品”而言的，指消费者只有在使用产品后才能获得关于其质量的信息，而“搜寻产品”则在购买时就可以判定它的质量。所谓“信誉产品”，是指消费者甚至在使用之后，依然无法对其品质做出判断的产品。无论大学是“经验产品”，还是“信誉产品”，可以确定的是，对于没有亲自消费过的人而言，它都是一块“黑匣子”。正因为消费者无法先验地对大学提供的服务做出判断，才需要一种能够准确、客观、公正地反映大学品质信息的大学排名。然而，绝对客观公正的大学排名在现实中是不存在的。因为，迄今为止，关于什么样的大学才是真正的好大学在学术界并没有达成一致，衡量好大学的权威标准自然也不存在。可以说，当前的每一种大学排名都是按照自己理解的所谓“好大学”的标准进行的。这就好比体育竞技比赛，比赛的最终结果取决于事前制定的比赛规则，规则变了，结果也会随之改变。
　　不同的大学排名使用不同的测量标准，这本身无可厚非。真正的问题是，目前的大多数大学排名榜并未对其假设的事前规则做出解释，反而争相以客观公正的面貌出现，声称它们设置的指标体系最真实地反映了大学的质量标准。而这些所谓的客观标准不过是那些最易于获得的标准化数据罢了。这就解释了为什么当前的国际大学排名偏重于大学的科学研究，因为诸如诺贝尔奖获得者人数、科研经费、出版物的数量、版权收入等是明显不带有主观色彩且易于统计的数据。按照这种貌似客观的指标体系产生的大学排名榜，实际却扭曲了人们对“一流大学”的认识，导致大学为获取排名榜高位而向单一的研究型模式聚集。这种趋势被西方学者称为“使命漂移”，它影响了大学承担其他社会任务的活动，损害了大学对社会做出贡献的多种可能。这一现象在欧洲高等教育系统中也是普遍存在的。欧盟最近的一项调查显示：欧洲至少有980所大学在其“使命陈述”中提出要达到国际研究型大学的目标。鉴于此，欧盟呼吁：欧洲高等教育机构的多样性，是一种力量，而不是一个弱点。因此，欧洲版大学排名的重要目标，就是克服当前大学排名难以有效识别多样性而导致大学“同质化”倾向的弊端，成为促进欧洲高等教育多样性发展的“透明工具”。
　　与此相应，U—Mttltirank在设计理念上首先跳出了所谓客观公正的怪圈。它从消费者的角度重新审视大学排名，指出：不存在一种绝对客观、公正的国际大学排名体系，因为不同的消费者对大学排名所要反映的信息需求是不同的。例如：学生关注师生比，而企业的兴趣在于辍学率；对学生和研究人员而言，信息必须以学科为基础，而对于大学管理者和教育行政部门的政策制定者来说，学校的整体信息则更具优先性；对政策制定者而言，学校保持一块“黑匣子”的状态就够了，而大学管理者则对黑匣子内部究竟发生了什么更感兴趣；等等。面对如此多样化的需求，一个真正优质的国际大学排名应该能够以平衡这些不同需求的方式进行。由此出发，U—Multirank确立了“以用户需求为主导”的排名理念，并将其细化为四项具体指导原则：第一，对排名的目标群体（用户）做出明确界定；第二，在排名程序和方法上对用户保持透明；第三，排名内容注重对大学绩效而非投入指标的测量；第四，执行用户反馈一修正机制。这四项原则表明，U—Multirank从目标确定、指标选择、数据搜集到结果应用等几个核心环节，都贯彻了以用户需求为主导的排名理念，从而開启了以用户需求为导向的新型大学排名的一次重要尝试。
二、U—Muhirank的概念框架：多维度选取排名指标
　　U—Multirank排名要面对不同的用户需求，这就决定了它在排名指标的选取上不能是单一维度的，而必须是多视角、多维度的。多维排名要解决的关键问题就是：不同功能、性质的学校或学校活动如何以有意义的方式来进行比较？这就决定了U—Multirank在排名指标体系的构建上，首先关注的是各指标之间的相关性，而不是指标的“可测量性”。鉴于此，U—Multirank并不以目前国际排名普遍采用的列表式指标“清单”为依据，而是首先设计了一个多维度的概念框架，该框架从关系大学功能与活动的四组不同视角切入，形成了一个“矩阵”式的“概念网格”（见图1），以该概念框架为依据来选取指标。
　　从图1来看，纵栏代表了大学的功能，其切入的视角有两个：一是大学自身的基本功能，即教学、研究和知识转换，这三者是对大学复杂活动的高度概括。二是大学的社会外溢功能。大学具有重要的社会影响力，大学的国际化与地方服务是这种影响力的最重要的两个“受众”。前者是一国参与全球竞争的直接门户，后者则是地方经济发展的重要支柱。横栏则是对大学活动的考察，切入的视角也有两个：一是可行阶段，包括投入和过程两个过程要素；二是执行阶段，具体又分为产出和影响。图表的背景栏展示的是参与排名的各大学的相关信息，如学校规模、人数、地理位置、办学性质等。U—Multirank的概念模型是在提供大量背景信息的前提下去选取相关指标的，因此，背景信息将更有利于不同用户对具体指标的有效理解。图表上方的标签是针对不同用户（学生、大学、政策制定者）的分类标签，表示他们可以根据自己的需求来选取指标，而默认状态是未分类的排名指标概览。
　　U—Multirank的概念模型具有以下功能特征：第一，上述纵横栏交错形成的“网格”框定了U—Multirank可以选取的指标类型。图表纵栏的教学、研究、知识转换、国际化和地方服务五项内容，构成了U—Multirank指标体系的五个基本维度。从这五个维度选取的指标，奠定了U—Multirank指标体系的多维度基础。第二，在此网格中选取的指标是大学静态功能维度与动态活动过程的结合，显示了强烈的“相关性”，这就突破了目前其它大学排名只偏重于指标“可获得性”的弊端。第三，该概念模型凸显了对大学行动绩效的考察。目前的大学排名多偏重对投入因素的考察，因为投入指标最易获得，但这种做法是不符合用户利益的，因为大多数用户对大学的产出更感兴趣。而u—Muhirank从大学活动过程的动态视角来选取指标的设计思路，在将大学活动的“黑匣子”予以分解的同时，也将产出及执行绩效的影响指标纳入到其排名体系当中。第四，该模型针对不同用户做了区别与分类，五个维度和四个过程阶段的具体指标将依他们的选择而灵活变动。此外，该模型可以在综合排名和学科排名两个层面上运用，用户亦可对此进行自由选择。
　　三、U—Multirank的技术路线：利益相关者充分参与
　　指标体系是大学排名的核心，其产生的原则及方式直接关系着大学排名结果的科学性、公正性和有效性。因此，设计组非常注重指标的选取，设计了U—Multirank指标产生的技术路线（见图2），主要包括三轮选择过程。第一步，设计组在广泛考察当前国际排名的相关文献、指标体系和国际数据库资源的基础上，根据设计的概念网格框架（见图1）来筛选指标，形成第一轮初选指标体系；第二步，设计组将初选指标分发给参与的利益相关者和专家组进行咨询与评估，在此基础上形成第二轮指标体系；第三步，对经上述选择过程产生的指标进行可行性测试。从上述指标产生的过程来看，U—Multirank的一个突出特征，就是指标选取建立在与各种利益相关者广泛对话的基础上。“利益相关者”是一个经济学概念，意指任何影响组织目标的实现和被组织目标实现所影响的团体或个人。在U—Multirank排名中，利益相关者就是“潜在用户”，他们以不同形式参与了U—Multirank在各个阶段与层面的指标选择与构建。
　　利益相关者咨询充分体现了U—Multirank的用户参与的特征。来自学生组织、雇主组织、经济合作与发展组织（OECD）、博洛尼亚后续工作小组和一些大学协会的代表参与了利益相关者咨询，他们在排名指标的相关性选择方面发挥了决定性作用。利益相关者咨询包括三个层次的互动：第一层次是网上调查，项目组将第一轮产生的指标清单发给98个受邀的利益相关者，由他们对这些指标是否相关做出回答。第二层次是利益相关者研讨会，46名代表参加了研讨，其中一半代表国际组织。研讨采用德尔菲方法，参加者按照五个分类维度被分成五个工作组，指标被分成“相关”、“非相关”和“待定”三组。要求参加者把待定组的指标分别移入相关组或非相关组；同时，相关组和非相关组的指标也可以相互移动。所有对指标的移动都须给出解释，并最好在本组内达成共识。研讨分三轮进行，每一轮结束后，参加者都须变换分组继续讨论。三轮讨论结束后是全体会议，各组主持人汇报本组讨论的结果及移动指标的动机。第三层次是书面问卷调查，项目组把从专家那里获得的信息反馈给利益相关者进行第三次咨询。此次书面问卷在指标列表中提供了专家对各项指标的评价，要求利益相关者参照专家意见做出最后选择。
　　U—Multirank还有非常强大的专家咨询库，包括来自50多个国家的教育专家组成的网络协会和由6名大学排名研究方面的知名专家组成的国际专家小组。专家们主要对指标概念的清晰度、指标的可获得性、指标在现存大学排名中被使用的频率以及指标的国际可比性等提供意见，在指标的有效性评估方面发挥了关键作用。利益相关者咨询与专家评估促成了一套指标体系的产生，但是，这套指标仍处于经验认知的层面，在实际操作中是否可行还有待验证。鉴于此，设计组对经咨询后产生的指标体系进行了可行性测试。测试分两个阶段进行。第一阶段是小范围的预测，主要有学校自填数据、学校（专业）问卷和学生问卷三种调查形式。共有28所院校和20多名学生参与了调查。根据此次预测结果，指标被分为A、B、C三个得分由高到低的分组，A、B两组指标参加后续的实验。第二阶段是较大范围的先期实验。在这个阶段，来自57个国家的159所高校参加了综合排名的问卷和测试，272个院系参加了专业排名测试。
总之，如此广泛的利益相关者参与在目前的国际大学排名中还没有采用过，它不仅构成了U—Multirank指标体系构建的关键和特色部分，也在方法上有效支撑了U—Muhirank用户主导的设计理念和多维度、多视角的概念框架。不过，利益相关者的参与是一种耗费时间和成本的方法。经过上述三轮筛选，U—Multirank至今未能建立起有效的指标体系，一些指标是否能予以采用仍需进一步测试和评估。这就是说，欧洲版本的国际大学排名榜何时出炉还是个未知数。但是，从上述技术路线看，利益相关者的咨询保证了指标与用户需求的相关度；专家评估确保了指标的科学有效性；而作为排名最大用户的高校的参与则使指标的可行性得以有效验证。所以，这种聚焦于各种利益相关者的方法，如项目组所言，“在测试阶段被证明是行之有效的，其最终产生的结果是值得期待的。”
　　四、U—Multirank的结果呈现：个性化排名榜
　　在排名结果的使用方面，U—Multirank也特别注重用户的利益需求。它通过赋予用户在下述三个关键步骤上的选择主导权，使他们能够按照自己的需求偏好，生成专属于自己的个性化大学排名榜：第一步是通过回答一组描述性问题，来选出具有同质性的可比学校组；第二步是对综合排名或专业排名做出选择；第三步是选择指标体系，对选取的学校或专业组进行排名。为了使这三步选择得以有效贯彻，U—Multirank在实践中開发了下述几种方便用户使用的特色网络工具。
　　1 U—Map选择性分类工具
　　对不同性质、任务和特征的大学按照一个标准进行排名是不公正和无效的。因此，选出具有可比性的院校组是有效排名的前提。U—Multirank通过整合U—Map项目来解决了这个问题。U—Map，即“大学地图”项目，是由欧盟于2005年资助開发的一个高等教育分类项目，其目标是在欧洲区域建立一套像美国卡内基那样具有权威性、通用的高等教育分类标准与体系，因此也被称为“欧洲版本的卡内基”。U—Map的一个突出特征，就是吸收并发展了2005年版卡内基開创的“选择性分类”的新方法，即通过用户对分类指标进行选择，形成高校分类组。这样，通过将U—Map整合进来，U—Multirank就赋予了用户对参加排名的大学进行自主选择的权力。也就是说，用户可以先从大范围的高校数据库中选择他们认为具有可比性的学校，然后再对它们进行排名，从而解决了在非同质的多样化大学中选择可比性样本这个一直以来困扰大学排名界的难题。
　　2 多层次可选式排名列表
　　U—Multirank并不产生固定不变的大学排名榜，而是在排名过程中引入了与用户互动的方法，允许用户根据自己的偏好来选择相关维度与指标，由此产生完全不同的个性化排名榜单。首先，用户可以对五个排名维度进行选择，例如“研究”维度，参与排名的大学就会按照各自在该维度下各项指标的总得分而产生一个排名榜；其次，用户还可以对某个维度下的具体指标进行选择，如“研究”维度下的“同行评议的出版物数量”，关于该指标的大学排名榜也会随之生成；最后，用户还可以选择多个维度下的多个指标而生成一个复合指标体系，并对该指标体系中的各项指标按照自己的理解赋予权重，从而产生一个根据自己界定的指标体系而生成的“自制”大学排名榜。
　　3 直观可视的“太阳辐射”图表
　　U—Multirank是一种多维度的分类排名，如果只采用列表形式，将会花费用户大量的时间和精力来识读结果。为了使排名结果更直观可读，项目组还開发了“太阳辐射”图表来直观地呈现排名结果。太阳辐射图以五种不同颜色的辐射线来分别代表五个分类维度，每一条辐射线代表一个具体指标，辐射线的长短代表学校在该指标的得分。太阳辐射图的特征是以“一目了然”的方式将参与排名的大学的相对优劣势展示出来。这种吸引人眼球的呈现方式，不仅有利于排名结果的直观展示，也有助于刺激用户更深入“探索”排名详细信息的兴趣。
　　五、U—Muhirank的前景展望：问题、评价与规划
　　作为一种挑战当前国际大学排名的新工具，U—Multirank的研究成果发布后，引发了社会各界广泛而热烈的讨论。不少专家和学者对U—Multirank的有效性和可推广性表示质疑。爱丁堡大学的高级名誉教授杰弗里·博尔顿（Geoffrey Boulton）指出，U—Multirank的指标设计虽然体现了相关性，但却是在捕捉一些不易被直接测量的大学特征，实际中很难操作。例如，“地区服务”维度虽然反映大学的社会特性，但能否找到衡量该维度的有效指标，仍然非常具有挑战性。大学排名界的专家艾萨·拉毕（Aisha Labi）出席了布鲁塞尔的展示会，并观看了U—Multirank如何通过网络与用户互动。他虽然将此描述为“一个良好的開端”，但同时指出，对于缺乏高等教育知识基础的一般用户而言，网络工具可谓复杂到“惊人”的程度，因此，在提高使用的简捷性方面，仍需要很大的改进。与英国《泰晤士报高等教育增刊》合作開发国际大学排名的QS咨询公司的总经理菲尔·巴蒂（Phil Baty）评论道：“U—Muhirank很可能成为仅服务于欧洲的内向性工具，而难以产生国际性影响。”在U—Multirank的前期试验中，英国只有4所大学参加，美国只有5所大学参加，中国大学由于要经过教育部批准而没有参加。这些重量级国家的“缺席”，将使U—Multirank的国际认可度大打折扣。
　　面对各种质疑之声，欧盟和项目组对U—Multirank的前景却持乐观态度。他们指出，该系统虽然目前还无法达到一个稳定的结果，但在未来几年的实施中将经历一个动态的完善过程。欧盟表示，至少在接下来的两年中，将继续资助该系统的開发。项目组也制定了进一步完善U—Multirank的建设计划。该计划雄心勃勃地提出，两年后的公開展示将把参与排名的欧洲高校扩大到700所，并保证有500所以上的学校参加专业排名。此外，排名仍保持国际特征，将正式招募欧洲之外的大学，并系统地进行组织，而不只是随机抽样。同时，整合欧盟相关项目的数据资源、各国大学排名和数据统计资源，甚至与其他一些国际排名实现数据资源共享，以充实和扩大U—Muhirank的国际数据库。从长远来看，欧盟不会长期资助U—Multirank。为了实现财政上的自我维持，同时保证排名的独立性和公正性，U—Multirank还将在非盈利基础上開发商业运作模式，对部分特色工具收取费用。
　　U—Muhirank的未来将会如何？在下阶段的開发中能否进一步完善？能否达到预期的规划目标？这些目前都还是未知数。不过，U—Muhirank确立的以用户为主导的排名理念，以及围绕着该理念设计多维度的概念框架和指标体系、广泛邀请利益相关者参与排名过程、開发面向用户使用的多种网络工具等方面的积极探索，使国际大学排名趋向透明化、民主化和大众化，这对于提升国际大学排名的公信力具有不可忽视的意义。正是基于此，欧洲研究型大学联盟（LERU）积极支持欧盟開发U—Muhirank的决定，并在自己的网站上公開表明了对U—Multirank的看法：“U—Muhirank以用户为主导的排名理念和由用户驱动的排名方法，至少提供了一种手段来检验不同形式的卓越，这成为对当前单一、僵化的国际大学排名的一种校正方法。因此，U—Muhirank无论能否成功，其開发本身就是更好地理解大学国际排名的潜在价值的一种方式。”也正是本着这种初衷，联盟的许多成员都同意加入试验项目，并尽最大努力来支持该系统的改进和完善。
 
来源：《复旦教育论坛》