基于全评价理论的数字资源集团采购评价——以高校图书馆数字资源采购联盟(DRAA)为例

原文引用：朱一真, 王乐, 邵诚敏, 等. 基于全评价理论的数字资源集团采购评价——以DRAA引进数字资源综合评价为例[J]. 图书情报工作, 2025, 69(22):73-84.
作者单位：复旦大学图书馆，复旦大学国家智能评价与治理实验基地，北京大学图书馆

1 引言

随着信息技术和网络技术的迅速发展，全球信息资源呈现爆发式增长，数字资源逐渐成为图书馆主流文献资源。为了丰富数字资源的多样性、降低采购成本并提升效率，国内外的高校图书馆纷纷成立各种图书馆联盟。据国际图书馆联盟联合会（International Coalition of Library Consortia, ICOLC^[1]）数据，目前注册该联合会的图书馆联盟有238家，其中具有电子/数字资源采购职能的有184家，分布在全球60个国家。这些联盟通过集团采购的方式，有组织地为成员图书馆采购数字资源。目前我国的集团采购组织（GPO）主要有以下几种类型：以地区为核心的地区集团、以行业为基础的行业集团以及全国性的全国集团^[2]。高校图书馆数字资源采购联盟（Digital Resource Acquisition Alliance of Chinese Academic Libraries, DRAA），是由中国部分高等学校图书馆于2010年5月共同发起成立的，是我国最大的数字资源采购联盟。

经过10余年的发展，DRAA凭借其庞大的成员馆网络、丰富的资源采购规模、规范化的建设、广泛的服务与支持以及在学术研究和标准制定方面的努力，得到了成员馆的广泛认可。特别是在各理事单位共同参与和努力下，数字资源集团采购工作有序开展。但在集团采购取得良好成效的同时，也面临经费压力和组织管理的双重挑战。一方面，根据教育部高等学校图书情报工作指导委员会所公布的高校图书馆基本数据可知，自2018年后，高校图书馆的资源建设经费显著下降，2022年高校图书馆的馆均资源建设经费较2017年下降3.72%^[3]。与此同时，在实际的资源采购工作中，数据库商处于资源定价的强势地位，资源价格和年涨幅居高不下，前几年因受疫情影响，部分数据库虽短暂提供了价格优惠方案，但目前也已逐渐恢复，根据DRAA 2023年引进数字资源的涨幅来看，半数以上资源涨幅为3%—5%，最高的超过7%，这使得各高校图书馆在资源建设经费方面承受巨大压力，图书馆经费紧缩与商业学术资源订购价格持续上涨的矛盾进一步突出。同时，数据库的售后服务问题频出，造成图书馆的权益受损，这些问题都亟待被有效控制和改善。另一方面，DRAA作为国内最大的数字资源采购联盟，在理事会、秘书处、谈判组、工作组、成员馆等多层立体架构下，规范谈判、采购、试用、使用等流程，逐步探索形成一系列工作规范。在此背景下，如何采用有效手段，敦促数据库商密切配合，以规范集团采购的全业务流程，成为当前亟需解决的问题。

基于此，从DRAA联盟的视角出发，构建一套规范化且综合性的评价体系具有显著的必要性与重要意义。这一体系通过科学、严谨的评价流程以及持续的优化机制，一方面能够有力地促使供应商提供具备高度竞争力的最优方案，切实降低资源采购成本，显著提升服务的整体效能；另一方面，能够有效激励并引导数据库供应商积极配合DRAA联盟的相关工作。从长远来看，这一系列举措将为DRAA集团采购工作的可持续发展奠定坚实基础，推动其在规范化的轨道上不断前进，最终实现整个采购生态系统的良性循环与健康发展。

2 文献综述

面对类型众多且价格高昂的数字资源，研究人员提出了各种评价指标，以指导图书馆进行有效地管理和建设，包括资源内容、平台功能、使用情况、成本效益、数据库商服务、归档和长期保存等方面^[4-6]。从指导资源采购的角度来看，根据采购阶段的不同，数字资源评价可以分为购前评价和购后评价。从评价目的来看，购前评价是指通过对各种数字资源进行评价，来达到支持采购决策的目的；购后评价则侧重于通过评估该数字资源是否达到了预期效果，来决定资源是否值得续订。从评价主体来看，进行数字资源评价的主体主要有图书馆及图书馆联盟。

2.1 数字资源单馆采购评价

在实际的资源采购工作中，购前评价和购后评价是图书馆进行采购决策和资源建设的重要步骤，因此从单个图书馆角度进行数字资源评价的研究已较为成熟。

国外相关研究起步于20世纪90年代，主要集中在英美等国家以及一些国际组织开展的项目，这些研究大多聚焦于购后评价。例如美国研究图书馆协会（Association of Research Libraries,ARL）的E-Metrics项目对图书馆投资的有效性进行评价^[7];LibQUAL+项目则对图书馆资源服务绩效进行评估^[8]；而由欧洲委员会资助的EQUINOX项目基于资源使用情况，并结合用户满意度设计出了用于图书馆资源建设绩效评估和质量管理的复合评估体系^[9]；美国数字图书馆联盟（Digital Library Federation,DLF）的数字内容重用评估框架工具包D-CRAFT则主要通过分析数字资源的重用情况来评估数字资源的实际使用情况及其影响力^[10]。

在国内，购前评价作为资源采购的关键步骤，得到了许多图书馆的重视。早在2002年，肖珑就从电子资源内容、检索系统及功能、资源使用情况、价格及成本、服务以及资源存档6个方面，构建了可应用于购前评估和购后评估的电子资源评价体系^[11]。后来，王乐提出，采购前评估需包含内容、检索功能、检索方式、试用情况、学科、同类资源等方面^[12]；徐洁则通过对资源进行绩效评估，探讨“精益采购”策略的可行性^[13]。而购后评价的重点则经历了从资源利用到用户需求保障的明显转变。段惠静利用下载量、检索量和浏览量等使用统计数据以及资源使用成本来反映数字资源的服务绩效^[14]；张赟玥等基于馆藏数量、采购经费、使用数据，从用户、学术、成本3个方面对外文电子图书进行绩效评价^[15]；戴咏梅等以图书馆的用户为核心，从用户的需求保障、使用程度以及科研产出3个维度对高校图书馆资源建设进行评价^[16]。

2.2 数字资源集团采购评价

近年来，集团采购因其在提高议价能力、节约图书馆时间人力成本等方面的显著优势，成为了许多图书馆进行资源采购时的优先选择。同时，当图书馆通过参与组团的方式进行资源采购时，资源的部分采购评价工作将由图书馆转移至资源采购联盟，尤其是资源的采购前评价。例如，学术出版和学术资源联盟（Scholarly Publishing and Academic Resources Coalition,SPARC)^[17]以及加州大学数字图书馆（California Digital Library,CDL)^[18]均针对采购谈判工作提出了相应的资源分析工具包，通过构建一个全面的分析框架来为图书馆与出版商之间的谈判工作提供数据支持。DRAA的联盟工作规范中也明确指出，对于准备开展集团采购的新数据库，要对资源内容、价格、检索系统及功能、服务、长期保存、试用等情况进行前评估^[19]。中国科学院以支持资源采购决策为目的，指出电子资源评价应包括用户需求、资源质量与内容、使用效果、采购成本以及个性化服务5个方面的指标^[20]。

但与此同时，资源采购后的评估则容易被忽略，当图书馆联盟一旦决定就某个数字资源进行组团，只要参与组团的成员数量足够，联盟便会每年规律性地组织续订该资源，较少有资源采购联盟对所组团的数字资源进行采购后评估。目前主要有中国科学院系统和DRAA进行过相关的购后评价工作，但两者的评价目的有所不同，中国科学院集团采取成效评估方法，以评价集团引进电子资源对科研用户科技创新活动的支撑效果为目的，从科研用户的文献使用行为、文献需求保障和科研产出方面进行定量评价，以此判断资源投入是否合理、资源结构是否符合学科要求、资源内容是否满足科研活动需要，具体包括资源采购成本、下载成本、品种使用率、人均可获取量、需求满足程度、核心期刊发文量、申请专利数量等指标^[21]；而DRAA则主要进行用户满意度调查，从数据库内容与质量、数据库商服务、数据库购买价格与方式以及数据库检索系统4个维度构建评估指标，了解成员馆对DRAA引进资源的满意度，帮助数据库商了解其产品和服务中的主要问题，以便数据库商及时进行改进，提升服务质量^[22]。

总体而言，资源的采购前评价目的更为明确统一，即判断资源是否符合需求，是否值得购买，围绕这一评价目的所制定的评价体系相对较为成熟，而资源的采购后评价则因评价目的的不同而各有侧重，多从资源建设绩效以及用户满意度等角度出发来评价资源建设的效率，注重资源使用效益和用户需求保障，但较少关注资源订购的可持续性。从评价主体来看，目前集团采购视角的评价研究较少，国内仅有中国科学院和DRAA开展过相关研究，已开展的研究也更多的关注使用方（即图书馆）的使用效果，为图书馆的工作提供支持。但集团采购联盟作为连接图书馆和资源供应商的核心枢纽，既为图书馆降本增效，也为供应商创造可持续价值，因此需要建立更为全面的评价体系，关注各方利益，维持学术资源市场的稳定。因此，本研究以集团采购联盟为核心，以支持资源订购的可持续性为目的，从集团采购的视角构建数字资源评价体系，通过对数字资源采购各方面进行评价与比较，激励数据库商提供更好的方案和服务，提高图书馆联盟在集团采购谈判工作中的话语权，实现资源采购的可持续发展。

3 DRAA引进数字资源综合评价体系的构建

3.1 问题提出

作为集团采购方案谈判方，DRAA自成立以来，为726个高校图书馆提供了983个集团采购方案（截至2024年3月）^[23]，为简化高校图书馆资源采购流程、降低采购成本做出了巨大贡献。但随着资源价格的不断上涨，用户的经费压力和各种不同诉求也在持续增加，集团采购谈判的难度越来越大。对引进数字资源进行综合评价，可以起到以评促建，鼓励数据库商提供更优方案、更优服务的作用，从而更好地展示集团优势，推动工作可持续健康发展。此外，DRAA成立以来，投入相当多的人力财力进行集团采购相关管理工作，DRAA 30余位理事成立了8个工作组，围绕引进数字资源展开了一系列工作，许多工作都离不开数据库商和代理商的支持和配合，因此，有必要对数据库商配合集团采购工作的情况进行全方位综合评价，以评促改，督促数据库商更好地配合DRAA的工作。

3.2 理论基础

“全评价”体系产生于2010年，是叶继元教授提出的一种有关学术评价的分析框架^[24]。这是一种系统化、多维度的学术评价方法论，旨在解决传统评价中存在的片面性、静态化和“唯量化”等问题。其核心框架包含六大要素（评价主体、客体、目的、方法、标准与指标、制度）和3个维度（形式评价、内容评价、效用评价）。“全评价”体系自被提出后，已经在多个图书馆相关领域得到了实践，例如图书馆学科馆藏评价^[25]、图书馆网站评价^[26]、阅读推广活动评价^[27]、学术期刊质量评价^[28]、智慧图书馆建设评价^[29]等，这些应用实践都在一定程度上反映了“全评价”体系的科学性和有效性。数字资源评价面临资源多样性、内容动态性、技术依赖性等挑战，全评价理论的适用性尤为突出。首先，数字资源评价需要考虑资源类型、资源质量、经济成本、技术适配、用户需求等多个维度，全评价理论可以多维覆盖，突破单一指标局限，提供更全面、科学的评价；其次，全评价理论能够动态适应资源生命周期，根据资源的不同阶段（采购、续订、停用）调整评价重点；最后，全评价理论能够充分发挥主客观结合的科学性，通过定量数据（如使用统计、成本分析）与定性反馈（如专家评审、用户访谈）的综合，减少评价偏差。对数字资源的集团采购工作而言，从资源谈判、采购到使用的每一环节都涉及到许多主体，为了更好地提升资源服务质量，也需要多维度分析并根据实际情况进行评价指标的优化。从系统性生态优化的视角来看，将资源评价置于资源整体服务生态中，考虑资源的互补性与战略支撑作用，也有助于构建可持续资源体系。以上都与“全评价”理论的核心思想则一致，因此本研究对“全评价”体系框架在集团采购数字资源评价中的应用进行探讨。

3.3 研究方法和评价思路

本研究采用的研究方法主要有以下几种：

（1）文献调研与网络调研：通过梳理国内外数字资源评价现状，明确研究缺口。

（2）内容分析与比较分析：提取评价要素，明确体系维度。对数据库集团采购方案进行文本分析，识别关键条款；对比现有评价体系及国内外联盟的实践，提炼差异点。

（3）德尔菲法与专家咨询：确定评价指标及权重。邀请约30名图书馆采购专家进行德尔菲法调查及专家咨询（线上、线下会议），进行指标及权重确定。

（4）实证研究与案例分析：验证评价体系的实际效果。选取DRAA联盟2021—2023年采购的130余个数据库，应用新体系进行评价。

本研究评价体系设计思路如图1所示：

3.4 DRAA引进数字资源综合评价要素分析

3.4.1 评价目的

评价目的是评价工作的龙头，它决定着评价主体、客体、内容、方法、标准与指标等其他要素的选择^[30]。由于评价视角的不同，数字资源的评价通常具有多种不同的目的，包括评估资源价值、调整资源结构、指导采购决策、支持采购谈判以及提升用户体验等。本研究对集团采购数字资源进行评价，其主要目的是为了应对资源价格居高不下、服务质量参差不齐等问题，以激励数据库商提供更优质服务，制定更科学合理的采购方案，促进集团采购数字资源可持续发展。与其他的资源评价相比，更加强调数据库商针对该资源所提供服务及方案的友好性。

3.4.2 评价原则

本研究对引进数字资源进行评价的目的是为引进资源谋求最优价格和最佳服务，促进资源的可持续发展，评价指标体系是基于此目的对引进资源进行测量，为了保证评价体系的可操作性和评价结果的科学性，本研究制定5项原则：①客观性原则。评价体系公平公正，数据采集真实有效。②多元性原则。评价主体多元，包括DRAA理事、谈判组、工作组、秘书处、成员馆等资源采购、服务、使用各个环节的参与者；评价指标多元，全方位评价数据库商及其所拥有或代理的数字资源在DRAA联盟采购过程中的综合表现。③发展性原则。评价体系设计要适应出数字资源的发展趋势，并体现DRAA的引导和鼓励方向。评价指标充分考虑前瞻性、发展性，以评促建。④开放性原则。评价办法和评价体系每年根据各方反馈和实际情况动态调整，与时俱进，持续完善。⑤可操作原则。评价指标和评价方法要切实可行，便于实际操作。

3.4.3 评价主体

评价主体是指施行评价活动的个体或团体，因立场、视角等不同，不同评价主体的评价侧重点也略有所差异。由于该评价是从集团采购的角度出发，因此评价主体不仅包括资源的使用者，同时包括集团采购的组织者，即图书馆联盟，两者分别从用户实际体验和集团采购工作的角度对数字资源进行评价和反馈。

在本研究中，评价主体如图2所示。图书馆联盟方面的评价主体包括参与资源采购谈判的136个数据库的谈判组、35位DRAA理事、秘书处以及负责引进资源各项具体工作的工作组（包括资源百科工作组、长期保存工作组、使用统计工作组、评估与利用工作组、开放获取工作组、元数据工作组）。作为集团采购工作的发起者、组织者和实施者，这类主体对资源采购过程中的前期准备、组织谈判、集采工作实施等内容比较了解，且因直接与数据库商进行沟通，对数据库商所提供的各类服务有更为直观的感受，因此此类主体的评价结果更为真实可靠；用户方面的评价主体主要包括726家参与集团采购的成员馆，成员馆作为集团采购数字资源的直接参与者和使用者，拥有第一手的用户体验，是评价主体的另一重要组成部分。

3.4.4 评价客体

评价客体是指被评价的对象。目前，学者们主要围绕数字资源的某一方面或某一内容进行评价，如资源内容、平台功能、使用情况、成本效益、数据库商服务、归档和长期保存等。而在DRAA的资源引进工作中，资源的质量在一定程度上已经得到了用户的认可，DRAA为满足用户需求而进行资源集团方案谈判，因此DRAA的评价更关注资源供应商能否提供更好的服务和方案。为此在本研究中，评价对象更关注数字资源的方案、服务质量以及用户体验，根据“全评价”理论，研究从形式、内容、效用3个维度展开。

（1）形式方面。形式评价主要对集团采购数据库谈判工作的外部形态进行评价，因此形式方面的评价客体主要为谈判形成的集团采购方案。在DRAA的集团采购工作中，谈判组代表成员馆与数据库商进行谈判，争取满足中国高校用户需要的、高质量的服务，并形成采购方案，对数据库的价格、使用方式、供应商应该提供的服务、图书馆和用户的权利范围等进行规定和说明。通过对谈判方案中相关条款进行评价和比较，能够较为直观地反映不同数据库所提供价格、服务的差异。

（2）内容方面。本研究的内容评价区别于方案资源采购前针对数字资源内容、功能的评估报告，而是围绕促进数字资源可持续发展目标进行设计。在实际的资源采购工作中，谈判方案的友好性和数据库商的良好配合是确保数字资源可持续发展的重要因素，因此内容评价的评价对象主要包括集团采购方案的友好性和执行度，由参与集团采购谈判工作的相关专家对方案整体的满意度以及方案执行过程中数据库商的配合度进行评价。

（3）效用方面。效用评价是评价主体对评价对象实际作用和价值等方面的评价。在集团采购数字资源的评价工作中，用户即为数字资源的客观使用者，因此效用评价既包括从用户客观利用资源角度对数字资源实际使用情况进行评价的客观数据，又包括用户实际使用资源过程中对资源内容、服务、检索系统等的主观感受。

3.4.5 评价指标

根据前述评价目的、原则、主体、客体的阐述，本研究以推动数字资源集团采购工作持续良性发展为主要目标，从集团采购的实际工作出发，以“全评价”分析框架为理论指导，科学选取评价指标，经过反复多次专家意见征询和反馈修正，最终形成了包含4个一级指标，12个二级指标，23个三级指标的基础指标以及3个一级指标、4个二级指标、10个三级指标的附加指标的综合评价指标体系^[31]（见表1）。本研究评价体系的构建主要使用文献调研法和德尔菲法。为保证评价的可持续性和稳定性，也选择了基于专家经验的主观赋权法来为各指标赋权，以避免客观赋权法带来的权重波动问题。指标体系构建及具体赋权过程如下：

（1）形成指标池。本研究项目组在对国内外关于电子资源的评价指标进行调研的基础上，综合DRAA秘书处以及负责资源引进各部分工作组的经验及意见，初步形成涵盖集团采购方案、数据库商工作配合度、资源使用情况、用户满意度4个方面的基础指标池，并根据指标重要程度初步制定了指标的评价标准和得分权重。

（2）专家调查及预实验。在指标池初步拟定后，本研究项目组向拥有丰富资源采购经验，来自30多所高校的DRAA理事（均为国内高校图书馆主管资源建设工作的馆长/副馆长/资深馆员）进行意见征询，同时组织了多轮线上讨论，邀请了多位涵盖理、工、农、医等各类高校图书馆的馆长/副馆长参加，对评价体系进行讨论以及指标修改。结合专家意见进行进一步指标增减、归类及评价标准细化和分值调整，例如删减合并部分指标、附加指标增加开放获取相关可扩展指标、完善“价格变动幅度”等复杂指标分级标准等。此外，根据讨论结果，项目组在2021年7月基于初步评价方法进行了预实验，以2020年集采方案、使用统计数据以及用户满意度调查结果客观数据基础，结合谈判组、牵头馆、秘书处、各工作组主观评分，对可比的138个引进资源进行评价，实验结果表明大部分引进资源的评价结果与实际情况基本一致，随后以预实验结果为参考，再次进行专家意见征询及线上讨论，对指标体系二次调整，形成了第一版评价指标体系（应用于2022年开展的2021年度评价）。

在该指标体系中，各指标的设置相互独立，并覆盖数字资源集团采购工作从方案制定到执行实施、效果反馈的全流程，其中“DRAA集团采购方案”相关指标，由DRAA理事、牵头馆、谈判组对数字资源集采方案的核心要素进行评价，直观呈现各数字资源服务方案的差异；“数据库商对DRAA工作的配合情况”相关指标，由DRAA相关工作组对各数字资源集团采购各方面的实际执行情况进行评价；“数据库使用情况”和“DRAA成员馆对数据库的评价”则为成员馆使用效果的直观体现，由成员馆进行评价。与此同时，各指标评价标准设置兼容不同类型资源，使得不同资源可以置于同一评价体系，提供通过全方位指标设置，为新方案的谈判和用户的采购提供决策支持。与此同时，以上各类指标均在基础指标的基础上设立了具有发展性、引导性和鼓励性的附加指标，以引导各数字资源提供更好的服务。

（1)DRAA集团采购方案。集团采购方案对数据资源的价格、使用方式、数据库商所提供的服务、用户的权益等进行了规定和说明，是数字资源采购谈判结果最为直观的体现。此部分指标对采购方案的友好性、规范性、保障性等方面进行评价。

基础指标部分，二级指标包括“方案总体满意度”“价格友好性”“订购保障性”和“其他”指标。①“方案总体满意度”为主观指标，主要关注谈判沟通是否顺畅、方案价格是否合理、条款是否简洁清晰，由DRAA牵头馆、谈判组、理事馆分别打分，按权重计分；②“价格友好性”为客观指标，主要关注集采方案中的价格涨幅和捆绑政策；③“订购保障性”为客观指标，关注订购内容的保障性（是否永久访问）以及访问方式的保障性（是否存在国内镜像站点或者提供裸数据通过国内第三方平台服务）；④“其他”类指标包括方案格式规范性、访问方式便利性及试用期限，同样以集团采购方案中的相关条款进行衡量。

附加指标部分包含6个3级指标，“价格变动幅度”鼓励数据库商降价或者降低涨幅；“退团再加入优惠”“区域优惠”鼓励数据库商提供针对特殊情况的优惠方案；“资源内容变动”则鼓励数据库内容更新；“提供基于API的访问”鼓励数据库商提供更友好的访问方式；“协议文本优先级”则鼓励数据库商优先提供中文协议。

（2）数据库商对DRAA工作的配合情况。数据库商积极的配合度可以增强与DRAA的合作关系，有助于共同实现优质的数字资源服务。这种合作精神能够推动数据库商更好地满足图书馆和用户的需求，共同促进数字化服务的提升。此部分指标对数据库商在统计、资源百科、评估与利用、在线采购、长期保存等方面的客观配合情况进行评价。

基础指标部分：①二级指标“统计工作配合度”主要对数据库商提供使用统计的及时性、准确性、规范性、全面性以及采集使用统计的便利性进行评价，内容包括使用数据能否通过SUSHI收割、是否符合counter标准、数据口径是否合适以及数据提供是否及时准确；②二级指标“资源百科工作配合度”主要对数据库商能否及时准确完成百科信息及订购内容的更新进行评价；③二级指标“评估与利用工作配合度”主要对数字资源使用指南上传的及时性以及代理商评价的及时性、客观性进行评价；④二级指标“在线采购工作配合度”主要关注在线采购的上线率和正式方案提交的及时性；⑤二级指标“长期保存工作配合度”则考虑到引进资源持久的可使用性问题，关注该数字资源是否提供国内长期保存，例如CALIS长期保存、NDPP长期保存或其他国内长期保存等。

附加指标部分则设立2个二级指标，“开放获取工作配合度”面向未来开放科学的发展，鼓励数据库商提供开放获取资源及APC费用详情；“元数据工作配合度”则鼓励数据库商将元数据作为采购资源的基本配套权益进行提供。

（3）数字资源使用情况。数字资源使用情况反映了用户对所采购数据库资源的实际使用体验和需求。通过分析数字资源使用情况，可以了解资源热门程度、发现用户潜在需求、评估资源效益、发现资源使用问题，进而优化采购策略，提高数据库商服务质量，实现数字化图书馆的可持续发展。此部分指标主要对资源需求量和使用情况进行评价，基础指标部分包含2个二级指标（三级指标与二级指标相同），为“DRAA参团用户数量”和“资源使用成本”，从用户利用资源角度对数字资源进行评价。附加指标部分设立1个二级指标，即“DRAA参团用户增长量”，对参团用户数量增加的数据库进行鼓励。

（4）成员馆评价。用户评价在图书馆资源采购工作中具有重要的意义，特别是对于提高数据库商服务质量有着直接的影响。此部分指标主要对资源的用户满意度进行评价，仅包含一个二级指标“成员馆满意度”（三级指标与二级指标相同），采用的是用户满意度调查数据，为主观评分。主要了解用户对数据库内容与质量、数据库商服务、数据库购买价格与方式以及数据库检索系统的满意情况。

3.4.6 评价方法

在评价指标体系的主体框架确立后，需要将多维指标数据转化为定量化评价结果，为资源采购提供科学依据。因此，该模型实施需重点考虑的问题是科学确定各指标的数值赋值与标准化处理方法。本研究的评价体系主要采用下面的方法进行指标赋值，各指标具体得分如表2所示：

3.4.7 评价制度

评价制度是指评价实施周期内的准则、规章制度，本研究制定了评价时的规则和评价后的守则。评价中的规则为评价活动实施过程中的评价准则，主要由两项制度组成：①核查制度：评分由工作组成员分工合作，指标表现和评分经一审二审；②研议制度：重要修改由工作组商议后报理事会讨论。评价后的守则包括评价活动实施后的反馈和审查机制等，同样由两项制度组成：①申诉和反馈机制：保障评价结果的公正性；②激励机制：以动态评选“范例数据库”和“警示数据库”保证评价的效率和实际效果。

4 DRAA引进数字资源综合评价实证研究与启示

为进一步观察评价效果，验证DRAA引进数字资源综合评价体系的可行性和有效性，项目组于2022—2024年分别对上一年度引进的数字资源进行评价（其中2022年度为试评）。

4.1 综合评价结果分析

因目前完整评价数据尚未公开发布，因此本研究选择部分数据来呈现评价效果，如表3所示：

从以上指标的评价结果可以看出，2022—2024年间，引进数字资源的综合评价结果呈现如下变化：

（1）“DRAA集团采购方案”方面：价格与服务博弈的双向改进。集团采购方案作为DRAA引进数字资源的核心内容，是数据库所提供服务、用户权益的直接体现。经过近3年的评价可以看出，“价格变动幅度”得分逐年下降，但“提供试用期限”“提供退团再加入优惠”“提供区域优惠”等用户权益指标显著提升。这是因为，在疫情期间，部分数据库商曾提供“零涨幅+延长试用”特殊政策，导致2022年价格得分虚高。随着全球学术出版市场复苏，主流出版商恢复3%—5%的年涨幅，但在评价结果的支持下，部分数据库愿意通过权益置换策略弥补价格劣势，通过提供其他服务间接抵消价格劣势对用户满意度的影响。

（2）“数据库商的配合情况”方面：服务优化与采购规范化的良性循环。2022—2024年，数据库商对DRAA工作的配合情况指标中，“提供使用统计准确性”“百科信息更新及时/规范性”均呈现出先增高后下降的趋势，主要原因是引入了动态调整机制，以适应DRAA在统计工作、资源百科工作方面的要求和规范度不断提高的新情况。随着对统计数据要求的逐步提高，DRAA工作组对统计数据的核查更为精细，发现部分数据库在提供使用统计数据准确性方面存在不足。此外，随着百科信息的逐步完整，各库的“百科信息更新完成度”指标均趋于满分。在这种情况下，项目组对相关指标进行了升级，2024年“百科信息更新完成度”指标更新为“百科信息更新及时/规范性”，由审查完成度进阶为审查规范性。因此以上指标在2024年度有了明显下降。“在线采购上线率”“正式方案提交及时性”得分的增加也体现了将供应商配合度纳入采购优先级评分对于倒逼其投入技术整改的积极意义。在下一年度的评价中，采购上线率、方案提交及时性等指标的评价标准将进一步提高，促进数据库商服务优化和资源采购工作规范化形成良性循环。

（3）“数据库使用情况”方面：从静态成本到动态价值的评价升级。因各数据库类型、学科、资源量的差异，本研究的评价体系不仅在使用成本方面选择按资源类型进行分区赋分，提高评价公平性，同时纳入参团用户数量和增长量指标，关注用户需求和资源的覆盖范围，关注资源使用的动态变化。从结果也可以看出，“资源使用成本”整体得分变化不大，但从指标“DRAA参团用户增长量”的得分可以看出，DRAA各引进数字资源得到了较好的使用和推广。

总体而言，经过近3年的试评与初评，DRAA引进数字资源综合评价取得了良好成效：

（1）引起数据库商的密切关注。根据申诉和反馈机制，项目组在每年度评价结果的内部发布后，会提供约10天的数据库商查分和咨询服务以及1周的申诉期，来接受数据库商申诉，并依据相关工作规范给出合理解释，个别数据库酌情修正。在过去三年中，评价结果受到了数据库商的广泛关注，2024年约有半数数据库商申请查分，涵盖约70%的数据库。大多数数据库商会在查分后改善相关服务，以提高旗下数据库得分。部分数据库商也会就评价标准申请与DRAA综评工作组进行讨论，共同促进DRAA引进数字资源综合评价体系的良性发展。

（2）以评促建效果明显。经过近三年的评价可以看出，DRAA引进数字资源综合评价以评促建效果明显，一些反映方案内容和配合度的指标有了明显改善，例如：部分数据库延长试用期限、部分数据库同意用户退团后重新加入仍享受老用户方案、在线采购回执率大幅提升、正式方案提交及时性提高、资源百科完成度提高等。部分数据库商在意识到自身存在的问题并进行改进后，其评价得分得到了明显的提升。据反馈，在2024年的方案谈判中，引进资源价格持续高涨幅的情况得到有效控制，例如被列入“警示数据库”的数据库A，面对停止组团的压力，也在最新一期集团方案中，将涨幅由上一期的5%降至3%—4%。这说明该评价体系在促进数据库商提供更优质服务以及提高工作配合度方面具有明显的积极影响。此外，随着评价工作的开展，各部分工作逐渐完善，评价标准也随着实际情况进行了细化和升级，对各数据库的方案和服务提出了更高要求，为DRAA资源引进工作提供了更好的支持。

4.2 总结及反思

与普遍强调资源内容、质量的资源采购前评价以及强调资源使用、成本的资源采购后评价相比，DRAA引进数字资源综合评价从集团采购可持续发展的角度出发该建立评价指标体系，更加注重数据库商在数据库的采购、使用过程中所提供的方案以及服务，将集团采购方案以及数据库商对集团采购工作的配合情况作为该指标体系的关键评价指标，不仅提高了数字资源评价的全面性和有效性，而且完善了现有的评价维度。同时，本研究引入“全评价”理论构建评价体系，能够全方位反映出评价客体各方面的优势与不足，可以为制定采购策略带来有价值的参考。

从理论贡献角度来看，本研究构建集团采购导向的多维动态评价框架，首次将“集团采购方案”“数据库商配合度”纳入评价体系，不仅弥补了现有评价对采购过程关注的不足，同时也揭示资源采购中权益博弈关系（如价格涨幅与服务条款的置换逻辑），此外该评价体系能够适应资源的复杂性和服务的动态性，各指标均可根据实际情况进行不断优化，推动评价从静态结果向动态决策支持转型。此外，这一框架为数字资源集团采购研究提供了新的理论视角，尤其对全评价理论在图书馆联盟场景的应用进行了实证拓展，为国内外其他联盟的评价工作提供借鉴和思考。

从实践意义来看，本研究驱动了采购决策科学化与行业生态优化。经过三年的实践可以发现，DRAA综合评价工作：①强化联盟谈判话语权，为集团采购数字资源的续订决策提供支持。由于各引进资源所提供服务的情况并不平均，部分数据库商因其资源内容的高质量和不可替代，在方案和服务方面更为强势。通过对各数字资源进行横向比较，不仅有助于数字资源集团采购联盟对已组团资源进行全面、规范的评价和对比，同时将评价结果作为DRAA谈判组与数据库商进行谈判时的参考，也有助于提高谈判组在谈判过程中的话语权，促使数据库商提供更好的方案。②辅助包括成员馆在内的单个图书馆遴选资源。DRAA引进数字资源综合评价体系通过将所有引进的数字资源放在统一的评价维度里进行对比和分析，向各成员馆全方位展示各数字资源在方案、服务、使用等各个方面的评价结果，不仅能够为图书馆的资源遴选和采购评估提供丰富的数据参考，同时能够有效减少单个图书馆的已购资源后评价工作、为图书馆制定续订决策提供支持。③促进数据库商提供更优质服务。通过对DRAA引进数字资源进行评价，能够有效促进数据库商了解自己在服务质量方面的优势和不足之处，从而改进和提升自身的服务水平。

与此同时，通过三年的评价实践，关于DRAA引进资源综合评价的未来优化方向有以下两点思考：

（1）构建更为全面、规范的评价标准。规范的评价标准是保证评价结果真实可靠的基础。资源评估作为DRAA核心工作的一环，始终是规范化建设的焦点。目前，DRAA在引进资源评估、资源百科建设、统计数据采集^[32]等多个方面进行了规范化建设。而DRAA引进数字资源综合评价不仅是对DRAA评价工作规范化的进一步补充，对规范化的评价标准也提出了更高的要求。在实际的评价工作中面临着资源种类繁多、各类资源特征各异的问题。此外，随着各项工作的完善，部分指标存在着更新、优化的需求。因此，面临着资源评价要求的变化，构建更为全面规范的评价标准是未来需要进一步解决的问题。例如，关注学科差异化问题，优化指标的学科适用性；在完善当前工作流程的基础上提高评价标准，将各指标由“完成度”向“完成质量”改进，促进数据库商提供更优质服务；进一步关注开放获取兼容性、数据安全性，丰富相关指标内涵。

（2）建立更为有效的激励机制。通过三年的评价实践可以发现，在评价体系的引导下，数据库商在试用、区域优惠、老用户优惠等附加条件上做出了让步，在DRAA各项工作的配合中也提供了更多的支持，但是在核心的价格条款上仍改变不大。数据库价格居高不下一直图书馆资源建设的痛点和难点，严重影响了高校资源建设的持续发展。因此，未来需要在完成评价的基础上建立更为有效的激励机制来引导数据库提供更为合理的价格方案。

5 结语

资源建设作为图书馆的核心工作，直接关系到高校图书馆支持教学、科研的能力，而集团采购通过集中采购力量，不仅能有效降低成本、提高采购效率，还能优化资源配置、增强议价能力，从而为图书馆带来更高效、经济和可持续的资源获取和管理方式。相较于单馆采购，集团采购在采购谈判过程中更具有优势和主动性，它链接着出版商和图书馆，有来自各方的丰富数据和经验。本研究通过DRAA实践发现，建立集团采购视角下的评价体系不仅有助于充分利用各方数据，为集团采购提供更加规范科学的数据参考，提高谈判话语权，也有助于在各资源的横向对比中发现问题，从而有针对性的改善解决，促进资源采购的可持续发展。当然，作为评价体系的重点，全面、规范的评价标准是保障评价结果真实可靠的前提，有效的激励机制是促进评价工作持续发展的动力，本评价体系在这两个方面仍需要进一步探讨。

参考文献

[1]ICOLC. Participating consortia[EB/OL].[2025-06-27]. https://icolc.net/.

[2]肖珑,姚晓霞.我国图书馆电子资源集团采购模式研究[J]. 中国图书馆学报, 2004(5):33-36.

[3]教育部高等学校图书情报工作指导委员会.统计数据[EB/OL]. [2025-06-27]. http://www.scal.edu.cn/tjpg/tjsj.

[4]张轶华,李芳,宋海艳,等.基于实证比较的外文期刊数据库评价模型构建与应用[J].图书馆杂志, 2019, 38(8):65-73, 16.

[5]庄纪林,陈凌,姚晓霞.外文期刊数据库内容质量指标的量化研究[J].图书情报工作,2021,65(2):54-64.

[6]WIERSMA G.Report of the ALCTS Collection Management Section(CMS) collection evaluation and assessment interest group meeting.American library association annual conference.Orlando,June 2016[J].Technical services quarterly,2017,34(1):68-78.

[7]李建霞.图书馆绩效评价国际标准体系分析[J].图书馆杂志,2012,31(11):38-41,85.

[8]Lib QUAL+®.About[EB/OL].[2025-06-27].http://www.libqual.org/about.

[9]覃凤兰.高校图书馆数字资源绩效评价[M].武汉:武汉大学出版社,2015.

[10]Content Reuse Working Group,DLF Assessment Interest Group.Digital content reuse assessment framework toolkit (D-CRAFT);Council on library&information resources[EB/OL].[2025-06-27].https://reuse.diglib.org/toolkit/use-and-reuse/.

[11]肖珑,张宇红.电子资源评价指标体系的建立初探[J].大学图书馆学报,2002(3):35-42,91.

[12]王乐.网络资源购前试用与评价体系初探[J].图书情报工作,2003(12):49-51.

[13]徐洁.面向学科建设的“精益采购”策略研究–以南京师范大学物理学科外文电子期刊利用计量为例[J].新世纪图书馆,2019(6):26-29.

[14]段惠静.数字资源使用统计分析–以山西大学图书馆为例[J].晋图学刊,2012(3):24-27.

[15]张赟玥,秦鸿,杜丽.应用ERS评估外文电子图书绩效的实践探索–以电子科技大学为例[J].图书情报工作,2020,64(21):50-57.

[16]戴咏梅,邵波.高校图书馆电子资源科研支持力评估实证研究[J].高校图书馆工作,2022,42(5):46-52.

[17]SPARC.Data analysis for negotiation[EB/OL].[2025-06-27].https://sparcopen.org/our-work/negotiation-resources/dataanalysis/.

[18]周琴,李军莲,任慧玲.加州大学电子期刊订购向开放获取转换的策略研究[J].数字图书馆论坛,2021(11):37-41.

[19]DRAA.高校图书馆数字资源采购联盟工作规范[EB/OL].[2025-06-27]. http://www.libconsortia.edu.cn/Spage/view.action?pagecode=glgf_2.

[20]罗祺姗,翟爽,张静.电子资源订购决策评价的若干思考–以中国科学院电子资源集团采购为例[J].图书情报工作,2018,62(3):39-44.

[21]朱学军,罗祺姗,赵艳.科研机构引进电子资源科技支撑绩效评价研究与发展–以中国科学院集团引进外文电子期刊为例[J].图书情报工作,2020,64(24):57-62.

[22]高校图书馆数字资源采购联盟.引进数据库培训周调查报告[EB/OL].[2025-06-27]. http://www.libconsortia.edu.cn/Spage/view.action?pagecode=dcbg_1.

[23]高校图书馆数字资源采购联盟.采购方案[EB/OL].[2025-06-27]. http://www.libconsortia.edu.cn/index.action.

[24]叶继元.学术“全评价”体系论[M].北京:社会科学文献出版社,2021.

[25]晁明娣.高校图书馆学科馆藏“全评价”体系构建研究[J].现代情报,2014,34(5):35-40,46.

[26]卢文辉,叶继元.“全评价”分析框架下的图书馆网站评价研究[J].图书馆杂志,2018,37(10):31-42,60.

[27]薛丽荣.高校图书馆阅读推广活动效果“全评价”体系构建研究[J].四川图书馆学报,2020(2):55-59.

[28]叶继元,袁曦临.基于核心功能的学术期刊质量评价指标体系框架探讨[J].江南大学学报(人文社会科学版),2021(4):5-17.

[29]马祥涛.“全评价”视角下智慧图书馆建设评价研究[J].图书馆理论与实践,2023(3):103-109.

[30]叶继元.“全评价”体系分析框架及其应用与意义[J].云梦学刊,2013(4):12-14.

[31]DRAA.DRAA集团采购数据库资源综合评价实施办法[EB/OL].[2025-06-27]. http://www.libconsortia.edu.cn/Infodownload/get All Type.action.

[32]姚晓霞,刘娟娟.DRAA集团采购规范化建设及其成效[J].大学图书馆学报,2023,41(5):33-40.48.