电子资源订购决策评价：以中国科学院电子资源集团采购为例

原文引用：罗祺姗, 翟爽, 张静. 电子资源订购决策评价的若干思考——以中国科学院电子资源集团采购为例[J]. 图书情报工作, 2018, 62(3):39-44.
作者单位：中国科学院文献情报中心

随着计算机网络化的迅猛发展，电子资源已成为国内外文献服务机构、科研机构的馆藏重点。根据中国科学院文献情报中心2017 年4 月发布的统计^［1］，上一年中国科学院集团采购数据库170 余个，其中: 外文电子期刊近1. 7 万种，外文电子图书超过11 万册，外文学位论文超过60 万篇; 中文电子期刊1. 7 万种，中文图书超过38 万册，中文学位论文超过311 万篇。电子资源体量实现了快速增长。

随着订购电子资源内容的不断丰富、内容展现形式的不断多样化，电子资源订购费用逐年攀升。电子资源订购方越来越关注在电子资源上的经费投入是否合理，资源结构是否符合学科要求，资源内容是否满足科研活动需要，等等; 有的图书馆通过评价图书馆服务质量的方式间接评价订购电子资源的服务效果，有的图书馆则以用户的使用统计数据等系列定量指标直接评价订购电子资源的服务效果。然而，这两种评价手段，其核心思想是评价订购电子资源对用户的服务效果，评价结果对订购前的电子资源订购决策工作很难起到决定性支撑作用; 而科学、合理的订购决策又直接决定了订购电子资源的科学、合理性。

本文将结合国内外主要图情机构在电子资源订购决策评价研究与实践，结合中国科学院(以下简称“中科院”) 集团订购电子资源实际工作特点，讨论电子资源订购决策评价需要考虑的评价原则、评价内容和评价结果运用原则等内容，为开展电子资源订购决策评价提供参考。

1 国内外电子资源订购决策评价研究与实践

对国内外电子资源订购决策评价的研究成果和实践经验进行较为系统的梳理和分析，结果发现: 从订购决策评价指标体系的评价方面和评价内容分类，国内外电子资源订购机构设计和运用的电子资源订购决策评价指标体系主要有“需求驱动，经费保障”和“订购资源质量为主”两种类型。各类型的主要特点和代表机构的具体情况如下。

1. 1 “需求驱动，经费保障”类型订购决策评价指标体系

该类型订购决策评价指标体系以用户需求为主，同时考虑资源订购方的经费预算和保障情况。该类型指标体系的主要特点是: 电子资源内容与用户需求的契合度、用户需求的保障度以及订购价格是该类型指标体系评价的主要方面，设计了例如“学科/内容”、“适用人群/范围”、“使用统计”、“需求程度”、“成本”、“类似产品价格比较”、“不同形式价格比较”、“年度价格涨幅限度”等具体指标。在电子资源供应商能力、技术支持以及平台功能方面，也给予了一定数量的评价指标，具体指标有“出版商支持”、“技术支持服务”、“软硬件的可用性”、“使用模式”、“系统功能与可靠性”等。台湾学术电子资讯资源共享联盟^［2］、香港大学图书馆^［3］、研究图书馆中心(The Center of Research Libraries，CRL) ^［4］、加拿大研究知识网络(Canadian ResearchKnowledge Network，CRKN) ^［5］、马里兰大学图书馆(University of Maryland Libraries) ^［6］、佛罗里达大西洋大学图书馆(Florida Atlantic University Libraries，简称FAU Libraries) ^［7］等主要机构设计与运用的电子资源订购决策评价指标体系属于该类型。

1. 2 “订购资源质量为主”类型订购决策评价指标体系

该类型订购决策评价指标体系以资源质量/内容视为订购决策的主要因素，其主要特点是: 电子资源的质量是该类型指标体系评价的核心方面，设计了例如“数据库内容与质量”“数字文献的可持续性”“数字化以及信息系统的质量”等具体指标。在数据库检索系统、与本地系统兼容性方面也给予了一定数量的评价指标，具体指标例如有“系统性能”“平台稳定性”“馆藏系统以及本地图书馆系统的兼容程度”等。高校图书馆数字资源采购联盟(Digital ResourceAcquisition Alliance，DRAA) ^［8］ 和德国研究基金会(DFG) ^［9］设计与运用的电子资源订购决策评价指标体系属于该类型。

在对不同类型的电子资源订购决策评价指标体系进行分析的同时，还发现订购决策评价指标体系具有显著的机构特点，即本机构的电子资源订购工作特点、工作内容体现在决策评价指标体系的具体评价内容和具体指标中，有效保障了电子资源订购决策评价指标体系能服务于实际电子资源订购工作。

例如，DRAA 的宗旨是“团结合作开展引进数字资源的采购工作，规范引进资源集团采购行为，通过联盟的努力为成员馆引进数字学术资源，谋求最优价格和最佳服务”，因此，该联盟考察电子资源的质量是否符合“数字学术资源”要求，通过规范资源商的服务行为和服务效果实现“谋求最优价格和最佳服务”。而对于台湾学术电子资讯资源共享联盟，其成立目的是以最优惠的价格引进电子资源，节省采购的经费和人力，也就决定了电子资源内容与用户需求的契合度、用户需求的保障度以及订购价格是其的评价的主要内容。

因此，在设计本机构电子资源订购决策评价指标体系时，需要一方面关注国内外已经设计和使用的订购决策评价指标体系，另一方面需要将本机构的电子资源订购工作特点、工作内容通过具体评价内容和具体指标予以体现，保障所设计的电子资源订购决策评价指标体系能服务于实际电子资源订购工作。

2 中科院集团电子资源订购决策评价指标体系框架的分析与设计

本机构电子资源订购工作的特点决定了电子资源订购决策评价指标体系，因此在讨论中科院集团电子资源订购决策评价指标体系框架前，对中科院集团电子资源订购工作的特点进行简要分析; 在此基础上，再对电子资源订购决策评价指标体系的评价原则、评价内容、定量评价方法进行分析与设计。为方便讨论，以下将“中科院集团电子资源订购决策评价指标体系”简称为“决策评价指标体系”。

2.1 中科院集团电子资源订购工作特点分析

目前，中科院集团订购电子资源的工作特点是:

(1) 电子资源内容以自然科学领域为主。这是由中科院各研究所的研究方向及研究领域所决定。中科院的研究领域主要集中在自然科学领域，少量的涉及社会科学领域或以自然科学与社会科学相交叉的形式展现，如科技战略咨询研究院、自然科学史研究所、心理研究所等，他们的研究领域或涉及社会科学领域或涉及自然科学与社会科学交叉领域。这就决定了中科院集团订购的电子资源以自然科学领域资源为主体、少量社会科学资源为补充的格局。

(2) 以订购全文期刊数据库为主，辅以文摘类、工具类数据库。中科院集团订购的电子资源，以全文期刊数据库为主，辅以如科睿唯安的WOS、TDA(ThomsonData Analyzer) 、美国化学学会(American Chemistry Society，ACS) 的SciFinder 等文摘类、工具类数据库。这与科研人员获取科研信息的方式、利用科研信息的方式以及阅读习惯等因素相关。

(3) 文献资源类型多样化趋势明显。随着网络资源的丰富，传统型的文献资源类型得到了极大的丰富，实用软件型资源、数据型资源，实验试剂型数据以及图像数据等文献资源出现。在中科院集团订购的数据库中，此类新型文献资源的比重逐渐增加，如订购编辑和收录参考文献的EndNote 软件，提供世界各国经济和社会统计数据的中国资讯行搜数网数据库，辅助科研管理人员了解领域研究趋势的InCites 数据库。同时，开放获取的电子资源在中科院集团所能获取的电子资源中的比例逐渐提升，如①开放获取的教育课件: 国际开放教育联盟(Open Education Consortium，OEC ) 、麻省理工学院开放课件(MIT Open-CourseWare) 、英国开放大学课程计划(Course – TheOpen University) 、中文果壳网MOOC 学院、等; ②开放获取的科学数据: 全球生物多样性信息网络(GlobalBiodiversity Information Facility) ，中国虚拟天文台(ChinaVirtual Observatory for Astronomy) 、中国科学数据云(Data Cloud of China) ; ③开放获取的期刊: HighWire出版社提供的期刊，PubMedCentral 出版社提供的期刊，等等。

2.2 决策评价指标体系评价原则的分析与设计

参考国内外主要图情机构的订购决策评价指标体系中遵循的评价原则^[10-12]，结合中科院集团电子资源订购工作的特点，认为决策评价指标体系的评价原则需主要考虑以下几方面:

(1) 定量评价为主，定性评价为辅。主要体现在评价指标以定量指标为主，减少定性指标，通过直观的、客观的数据为决策者提供订购决策参考依据。

(2) 系统性原则。主要体现在评价指标数量的多少以及评价指标体系的结构。决策评价指标体系中，指标数量不宜过多，设立能体现全面订购工作特点、需求特点以及资源本身特点的指标即可，避免繁杂与冗余; 具体评价指标对决策评价的影响力应有主次之分，可以结合实际工作经验和工作要求，对各评价指标的重要程度进行先验判断，对每个评价指标赋予类似“核心指标”“扩展指标”等表征重要程度的关注度属性，强化关键指标、弱化辅助参考指标，使整个指标体系既能全面反映电子资源订购工作，又能重点突出、层次分明，也将有助于获得评价结果和运用评价结果。

(3) 可行性原则。主要体现在评价指标所需数据的准确获得。具体评价指标所用到的数据以及处理数据的方法和途径必须真实可靠，这样才能保证评估得到的结果能运用于订购电子资源的决策中。同时，还需要考虑某些数据是否值得花时间与精力去收集和整理，即进行时间－ 效益评判。

2.3 决策评价指标体系评价内容的分析与设计

在中科院资源建设工作中，对电子资源订购决策工作的要求，与“需求驱动、经费保障”类电子资源订购决策评价指标体系的关注重点比较一致，即对用户需求的保障和对经费使用效率的控制是工作中关注的重点，同时要确保购置资源具有相当的权威性与高质量的内容。因此，在决策评价指标体系评价内容中，将主要包含以下几方面评价内容:

(1) “用户需求”方面。主要评价用户对某项已订购电子资源的需求情况。中科院集团电子资源订购工作，具有“中科院集团订购的电子资源以自然科学领域资源为主体、少量社会科学资源为补充的格局”和“文献资源类型多样化趋势明显”特点，也即用户对不同领域、不同类型的电子资源具有不同的需求强度和需求广度。基于此，“用户需求”的评价指标可以从衡量需求强度、需求广度等方面进行设计，具体的评价指标有: ①适用用户范围/比例; ②用量在同类型资源/同学科领域资源的总使用量中的比例/排名。对于全文资源，还可以分析所收录资源中有使用量的资源范围/比例。

(2) “资源质量与内容”方面。主要评价某项已订购电子资源的质量与内容情况。中科院集团订购的电子资源，具有“以全文期刊数据库为主，辅以文摘类、工具类数据库”的特点; 这样，结合集团实际订购内容，甄别不同文献类型在质量与内容方面具有相同的指标特征，从而形成如下具体评价指标: ①资源覆盖年限; ②资源与其他已订购电子资源的内容重复程度; ③资源内容更新的周期/频率; ④资源提供商在出版领域的知名程度。

(3) “使用效果”方面。主要评价某项已订购电子资源的被使用情况。具体评价指标可以包括: 特定时段的使用量、试用量和被拒量。

(4) “采购成本”方面。主要评价某项已订购电子资源的采购成本以及变化情况。具体评价指标可以包括: 价格涨幅，资源获取成本，采购成本变化。

(5) “个性化服务”方面。在中科院集团电子资源订购工作，具有“文献资源类型多样化趋势明显”的特点，这也决定了在决策评价指标体系中还需要考虑已订购电子资源是否具备个性化服务，包括: 是否具有特色检索技术、是否具有特色标引技术、是否采用特色资源组织技术、对用户使用是否设置限制等。

结合以上的分析与设计，决策评价指标体系主体框架，包括评价内容、评价指标以及指标含义，如表1所示:

2.4 决策评价指标体系定量评价方法设计

在上述决策评价指标体系主体框架构建完成的基础上，通过指标加权计算的定量评价方法，将指标值转变为定量化评价结果，供订购决策参考。因此，定量评价方法中关键环节是合理确定各指标值的取值和归一化处理，以及相关权重的计算。

各指标值的取值、计算和权重的确定设计如下思路:

(1) 指标的取值。在决策评价指标体系中，指标可分为三类: 数值类、定量类和计分类。其中，数值类指标的取值为具体数值，均可依据指标含义给出具体计算方法得到，如“适用用户范围/比例”; 定量类指标为判别类指标，取值为是或者否，如“特色检索技术”;计分类指标为打分类指标，即指标的取值为某个计分区间内的得分，如“资源内容更新频率”。各类型指标的取值，应按实际订购情况，给予具体数值。

(2) 指标的标准化处理。上述三种类型指标，需进行标准化处理，从而保证各指标可加权计算。对于数值类指标和计分类指标标准化处理选取经典的最大值最小值标准化处理方法，对于定量类指标采用归一化方法。这样，各个指标值归一到［0，1］区间上，从而使得各个指标之间可比较，可加权。

(3) 权重的确定。权重的确定，总体上可分为指标优先级排序，初始权值计算、权值调整三个步骤。其中，“优先级排序”是根据实际订购决策工作中该指标重要性给予排序，重要性越高，其优先级越高，对应的权重值也越高; “初始权重计算”是将“优先级排序”中得到的优先级顺序赋值并进行标准化处理，使权重值之和等于1; “权值调整”是根据“初始权重计算”得到的结果与实际订购工作进行匹配，对出现偏差的权重进行微调，以保障权重值符合客观工作。

3 订购决策评价结果的应用原则和应用模式

决策评价指标体系的定量化评价结果，是对订购工作的一种客观量化，它需要为订购决策者提供系统、层次化的评价数据，提供决策参考信息。因此，决策评价结果的应用，需遵循以下原则: “需求优先、质量保障、成本优化、综合考虑”。具体来说:

(1) 以用户需求为核心。拟订购的资源应符合中科院科研一线科研、教学工作的需求，有较为明确的需求来源和一定的需求规模;

(2) 以高质量内容做保障。在内容、功能等方面，以用户需求为本，尽可能以高品质资源、个性化功能切实满足用户不断变化的使用需求，从而为科研教学质量的提升提供保障。

(3) 不断优化成本。在用户需求、高质量内容需求得到满足的基础上，应不断优化引进资源的成本－效益，在经费条件有限的情况下，不断调整、优化资源配置结构。

(4) 综合考虑各指标影响。对于评价指标中突出存在的短板指标项，在订购决策时也应予以重点考虑。评价结果的应用，可以参考以下几种应用模式:

(1) 应用模式Ⅰ———单项资源的纵向比较。对单项资源，按订购周期构建以时间为坐标轴的纵向决策评价数据和评价结果，在评价数据和评价结果中分析:①该项资源在不同订购周期在用户需求、内容质量、使用效果、采购成本等评价方面出现的变化和变化趋势，从而对该项资源的用户需求、使用效果、采购成本、个性化服务等方面，在未来一段时间的变化趋势形成较为准确的预期。②该项资源在不同订购周期的整体评价结果的变化和变化趋势，为该资源的订购决策提供参考信息。③各评价方面的变化趋势与整体评价结果变化趋势之间的关系。寻找该项资源在用户需求、使用效果、采购成本、个性化服务等方面的评价结果对整体评价结果的影响，从而发现影响该项资源订购决策的关键影响因素。

在单项资源的纵向比较中，受用户需求频度的影响，单项资源可能是偶发需求性资源或普遍需求性资源，或从偶发需求性资源转变为普遍需求性资源。因此，在利用本文中的决策评价指标体系框架时，在数据可获得的情况下，可以考虑引入“文献传递成本”“第三方资源共享成本”等定量指标，以及“核心用户评价”等定性指标，辅助提供订购决策所需信息。

(2) 应用模式Ⅱ———多项资源间的横向比较。对同类型的多项资源进行评价，在评价数据和评价结果中分析: ①多项资源在某一评价方面、具体评价指标方面的差异，比对、发现这些资源在同一评价方面存在的相对优势和不足。②多资源在整体评价结果方面的差异，根据差异在资源订购优先次序上给出排序。③根据上述的评价结果和分析，在整体评价结果、具体评价指标等各层次上给出资源的订购优先次序，为订购决策提供参考信息。

(3) 应用模式Ⅲ———不同类型资源间的比较。对多类型资源，可以按照语种(中文/外文) 、学科领域(如化学/生物等) 、文献类型(如文摘/全文) 等角度对资源进行分类，利用评价指标体系对某一类或某几类资源进行评价分析，在评价数据和评价结果中分析:①某一类资源在整体需求、使用效果、采购成本、个性化服务等评价方面的相对优势和不足，帮助订购决策者评价该类资源对本机构用户需求的满足状况。②不同类型在不同评价方面的相对优势和不足，帮助订购决策者评价本机构的电子资源保障体系对用户需求的整体保障程度，发现保障体系的优势和短板，为优化资源保障体系结构、给出订购决策意见提供参考依据。

4 结语

本文以中科院集团电子资源订购为例，讨论了构建电子资源订购决策评价指标体系需要考虑的评价原则、评价内容以及评价指标，形成了电子资源订购决策评价指标体系框架。然而，在将决策评价指标体系运用于电子资源订购工作中，还需要根据订购工作具体要求，完成以下工作:

(1) 完善评价指标。包括: 调整、优选具体评价指标，确定评价指标的取值方法和评价指标权重，进行数据样本实验和调整评价指标体系。

(2) 实际实施评价。根据评价目的，采集、整理相关数据，进行计算、比较、分析与评价，最终得到评价结论。

参考文献：
[1] 中国科学院知识资源组织与服务的新需求、新模式、新思路暨第八届电子资源培训[EB/OL]. [2017-04-18]. http://etraining2017.csp.escience.cn/.
[2]CONCERT 台湾学术电子资讯资源共享联盟[EB/OL]. [2017-04-25]. http://concert.stpi.narl.org.tw/page/index_1.
[3] 香港大学图书馆[EB/OL]. [2017-04-25]. http://lib.hku.hk/cd/policies/erp.html#Sect3a.
[4]The Center of Research Libraries[EB/OL]. [2017-05-17]. https://www.crl.edu/collections/cooperative-collection-building.
[5]FOX D, LAM V T. Canadian National Site Licensing Project[J]. The serials librarian, 2003, 43( 3): 39-57.
[6]University of Maryland Libraries[EB/OL]. [2017-05-18]. https://www.lib.umd.edu/collections/policies/electronic-resources.
[7]FAU Libraries[EB/OL]. [2017-05-10]. http://www.library.fau.edu/policies/cd_e-resources.htm.
[8] 高校图书馆数字资源采购联盟( DRAA) [EB/OL]. [2017-05-06]. http://www.libconsortia.edu.cn/Spage/view.action?pagecode=pjzxjs.
[9]ber nationale Lizenzen[EB/OL]. [2017-05-10]. http://www.nationallizenzen.de/ueber-nationallizenzen.
[10] 肖珑, 李浩凌, 徐成. CALIS 数字资源评估指标体系及其应用指南[J]. 大学图书馆学报, 2008( 3): 2-8, 17.
[11] 汤罡辉. 国际学术期刊库绩效评价方法应用现状[J]. 图书馆建设, 2011( 3): 5-10.
[12] 吕旭霞. 电子资源利用绩效评估指标体系的构建[J]. 图书馆学研究, 2009( 12): 51-53,31.