应用二次相对评价模型评价医院科室科研绩效动态

SPECIAL PLANNING 应用二次相对评价模型

评价医院科室科研绩效动态

■ 沈 庆① 孙瑞华② 郝肖迪① 王蜜源① 李 磊① 虞康达① 吴婉玲① 肖 畅①

【摘 要】目的：应用二次相对评价模型，对医院科室科研的主观努力程度进行评价。方法：首先用主成分分析对指标进行降低维度并计算各科室科研产出综合评价值。在此基础上，将上年和现阶段的科研综合评价值分别作为参考指数及当前指数，运用数据包络法计算二次相对评价值。最后，利用聚类分析根据二次相对评价值将各科室进行分类。结果：二次相对评价值能反映各科室消除基础条件差异后的主观努力程度，可通过聚类分析将各科室的二次相对评价值分为三类并对科室进行定位。结论：二次相对评价法能从各科室科研绩效的动态变化中反映各科室的主观努力程度，从而达到更好的激励效果，避免一味从客观条件寻找原因。【关键词】二次相对评价 科研绩效 医院科室 绩效评价 数据包络分析

中图分类号 R197.3 文献标识码 A DOI 10.19660/j.issn.1671-0592.2019.11.06

Application of binary relative evaluate model to evaluate the dynamic performance of scientific research in hospital departments / SHEN Qing, SUN Ruihua, HAO Xiaodi, WANG Miyuan, LI Lei, YU Kangda, WU Wanling, XIAO Chang// Chinese Hospitals. -2019,23(11):16-19

【Abstract】Objectives: To evaluate the subjective effort of scientific research in hospital departments by using the binary relative evaluate model. Methods: Firstly, the principal component analysis was used to reduce the dimension of the indicators and calculate the comprehensive evaluation value of the scientific research output of each department. On this basis, the comprehensive evaluation values of the previous year and the current stage are taken as the reference index and the current index respectively, and the binary relative evaluation value is calculated by the data envelopment method. Finally, cluster analysis is used to classify departments based on the binary relative evaluation values. Results: The binary relative evaluation can reflect the subjective effort of each department to eliminate the difference of basic conditions. The binary relative evaluation values of each department can be divided into three categories and located by cluster analysis. Conclusions: The binary relative evaluation method can reflect the subjective efforts of each department from the dynamic changes of scientific research performance of various departments, so as to achieve better incentive effect and avoid blindly looking for reasons from objective conditions.【Key words】binary relative evaluate, scientific research performance, hospital departments, performance assessment, DEAAuthor's address：Beijing University of Chinese Medicine, No.11, North Third Ring Road, Chaoyang District, Beijing, 100029, PRC

科研绩效评价是从侧面加强、引导和激励医务人员开展医学科析（data envelopment analysis，DEA）方法基础上提出，在动态变化中对评价对象基础条件的差异进行描述及努力程度进行测量的方法，其本质是在以往综合评价的基础上对指标状态的相对有效性进行评价，目的是消除各科室科研基础条件的差异对评价结果的影响，动态测量各科室通过增强管理水平来提高科研绩效的主观努力程度。本文提取某医院科室连续两年的科研绩效数据，应用二次相对评价思想，结合主成分分析及数据包络分析，从科研实力的动态变化中，反映各科室科研主观努力程度。研活动的重要管理手段。各科室间学科性质、研究领域、平台条件等存在差异，等量的投入并不等于等量的产出，传统的综合评价方法无法考量所有因素的影响，忽视了基础条件的差异对绩效评价结果的影响，是对管理结果而非管理过程的考量[1]。作者采用二次相对评价模型从科研绩效的动态变化中对各科室主观努力程度进行评价。二次相对评价模型是冯英浚等[2]在费莱尔测度方法和数据包络分1 对象与方法1.1 对象本文数据来源于某三甲综合性医院科研评估系统，采用2015-2016年连续两年各科室科研评估数据。以医院65个科室为评估对象，结合实际情况，将65个评估科室按照科室类别匿名编号：外科（A1—A20）；内科（B1—B19）；中医（C1—C15）；医技（D1—D11）。评价指标包①北京中医药大学，100029 北京市朝阳区北三环东路11号②中日友好医院，100029 北京市朝阳区樱花园东街2号

·16· Chinese Hospitals,Nov.2019,Vol.23,No.11

SPECIAL PLANNING 特别策划

括：课题(y1)、论文专著(y2)、奖励(y3）、专利(y4）、兼职(y5）、平台(y6）、团队荣誉(y7）7项。该指标体系已经过科学验证，并指导该医院科研绩效评价多年[3]。考指数（2015年综合评价值），可看作各科室所具备的各项科研要素的总和，能反映客观基础条件的优劣。采用和参考指数相同的方法，计算当前的状况得到的指标称为当前指数（2016年综合评价值）。（2）采用2 结果2.1 采用主成分分析计算综合得分在使用主成分分析之前，采用KMO检验及Bartlett球形检验对该方法的适用性进行分析。KMO的取值范围为[0，1]，KMO值越靠近1意味着变量间的相关性越强，越适合做主成分分析。2015-2016年KMO检验结果显示：评价指标KMO统计量均大于0.6。Bartlett球形检验结果显示：评价指标Bartlett检验的P值均小于0.05，拒绝原假设，表明各变量之间不是相互独立。各项结果均显示评价指标数据间存在一定相关性，适合用主成分分析进行降维。结果见表1。采用SAS 9.4软件进行主成分分析，在原始指标数据标准化的基础上，求得相关系数矩阵的特征值、特征向量、贡献率及累计贡献率。1.2 方法主成分分析能在保留原始指标绝大多数信息的基础上，对多指标进行降维，克服多指标间多重共线性问题[4]。本文基于此方法在指标处理上的优越性，对原始指标进行主成分提取并计算综合评价值。主成分分析过程中，会对原始指标做标准化处理，一些主成分综合得分会出现负值，不满足DEA对输入及输出均为正值的要求，基于DEA的不变特性，在不影响结果的前提下，采用“功效系数法”将负值数据转化为正值[5]。公式为：DEA计算二次相对评价值。将参考指数作为输入，当前指数作为一种输出，代入DEA模型，根据评价对象偏离前沿面的程度，测算出反映其主观努力程度的二次相对评价值。二次相对评价值表示每个科室的科研当前指数在同样参考条件下可达到的最大当前指数中所占的百分比。聚类分析是研究如何将样本或变量进行分类的多元分析方法。对样本进行分类称为Q型聚类，对指标进行分类称R型聚类；常见的聚类方法包括K—均值聚类、系统聚类等[8]。本文计算出二次相对评价值后采用系统聚类将各科室聚类分析。X=0.1+0.9×[（Z-Zmin）/(Zmax-Zmin)]X为转换后的主成分综合得分，Z为主成分综合得分，Zmin和Zmax分别为主成分综合得分最小值、最大值。DEA是对多个相同类型单位进行投入与产出“相对效率”评价的有效方法[6]。根据决策单元是否位于生产可能集的“前沿面”上判断是否为DEA有效。二次相对评价法是在综合评价基础上，采用数据包络分析[7]。本文采用主成分分析法，计算产出综合得分值作为当前指数与参考指数，再用DEA计算二次相对评价值。二次相对评价主要步骤包括：（1）计算参考指数、当前指数。通过主成分分析对2015年科研水平进行测算，得到的综合评价值我们称为参表1 2015-2016年各科室科研二次相对评价值

科室 A1 A2 A3 A4 ⋯ A16 A17 ⋯ B1 B2 ⋯ B14 B15 ⋯ C1 C2 C3 C4 ⋯ C12 C13 ⋯ D3 ⋯

参考指数(2015年） 0.143 0.133 0.148 1.000 ⋯ 0.548 0.131 ⋯ 0.458 0.716 ⋯ 0.184 0.245 ⋯ 0.303 0.402 0.468 0.311 ⋯ 0.811 0.121 ⋯ 0.164 ⋯

排序 49 53 48 1 ⋯ 8 55 ⋯ 11 3 ⋯ 39 30 ⋯ 23 15 10 22 ⋯ 2 59 ⋯ 44 ⋯

当前指数(2016年） 0.181 0.110 0.113 0.309 ⋯ 1.000 0.114 ⋯ 0.436 0.669 ⋯ 0.316 0.532 ⋯ 0.148 0.286 0.283 0.757 ⋯ 0.509 0.113 ⋯ 0.139 ⋯

排序 36 56 52 21 ⋯ 1 51 ⋯ 14 6 ⋯ 20 9 ⋯ 43 24 26 5 ⋯ 10 52 ⋯ 46 ⋯

二次相对评价值 0.524 0.380 0.303 0.309 ⋯ 1.000 0.409 ⋯ 0.471 0.669 ⋯ 0.563 0.811 ⋯ 0.199 0.329 0.303 1.000 ⋯ 0.509 0.499 ⋯ 0.301 ⋯

排序 18 37 54 51 ⋯ 1 32 ⋯ 26 12 ⋯ 17 9 ⋯ 64 46 53 1 ⋯ 21 23 ⋯ 56 ⋯

2019年11月第23卷第11期 ·17·

特别策划SPECIAL PLANNING 按照累计贡献率大于85%（一般大于70%）的原则提取主成分[9]。2015、2016年均提取前5个主成分，累计贡献率分别达89.02%、87.6%。将特征向量与标准化数据相乘之后可计算5个主成分得分。以每个主成分的贡献率为权重，计算各科室绩效综合得分，表达式如下：别对当前指数、参考指数、二次相对评价值进行排序，如表1所示。二次相对评价值总体描述如表2所示。为进一步了解医院科室科研二次相对评价值的总体分布情况，可对二次相对评价值做统计描述。由表2可知，二次相对评价值的均值为0.481，说明医院科室的整体努力程度还有待提高。标准差为0.234，说明各科室二次相对值的离散度较高，差异较大。偏度系数是描述数据分布偏斜方向和程度的指标，值大于0，说明各科室二次相对评价值呈右偏分布，均值右侧数据更为分散，即二次相对评价值大于均值的科室间的数据较均值左侧科室间的数据更为分散。峰度系数是衡量数据分布相对于正态度还有待提高，各科室间二次相对值差异性较大，数据呈现均值右侧较左侧更为分散、两侧较中间多的情况。将65个科室的二次相对评价值进行聚类分析，根据分类结果对科室努力程度进行定位。通过比较并结合专业知识，本文选择欧氏距离下的类平均法进行Q型系统聚类分析。二次相对值为高优指标，越接近1说明越努力，根据聚类的均值特点可将所有科室分为优良、中等、较差三类。聚类结果如表3。2015-2016年各类科室不同类别分布情况如图1。由表3和图1可知，二次相对评价值达到优良的科室有8个，占全部科室的12.31%。其中，外科类科室数量最多，占优良类科室的62.50%，内科类未见优良科室。结合表1，从当前指数、参考指数、二次评价值的变化情况可看出，二次相对评价值优F2015综合得分=0.369Z1+0.166Z2+0.154Z3+0.102Z4+0.086Z5F2016综合得分=0.338Z1+0.184Z2+0.152Z3+0.117Z4+0.099Z5根据表达式计算出2015、2016年综合评分值，为满足数据包络分析的要求，按照功效系数法将主成分综合得分转化为正值，结果见表1。2.2 采用二次相对评价模型计算二次相对评价值由于不同科室的学科特点、人才规模等基础条件及管理水平存在差异，等量的投入在不同科室间并不等分布更陡峭或平滑的统计量，值大于0，说明分布在均值两侧的科室较多。总体来说，医院科室科研努力程表2 二次相对评价值的描述分析

于等量的科研产出。在建立评价指标体系过程中，我们无法考虑全部的投入要素，容易忽视科研政策等外部因素对科研产出的影响。因此，主成分分析、DEA等传统单一方法可反映各科室的科研实力，无法反映各科室科研的主观努力程度，各科室通过主观努力而产生的效益称为“管理有效性”，二次相对评价值可反映管理效率大小[10]。采用主成分分析计算2015、2016年综合评分值，为满足数量 65 均值 0.481 标准差 0.234 最小值 0.162 最大值 1 中位数 0.4 偏度 1.134 峰度0.361

表3 2015-2016年科室科研二次相对值分类一览表

聚类结果 第一类 第二类 第三类

类别 优良 中等 较差

科室

A5、A7、A10、A16、A20、C4、C11、D2 A8、B2、B3、B6、B15、C9、D1

A1、A2、A3、A4、A6、A9、A11、A12、 A13、A14、A15、A17、A18、A19、B1、B4、B5、B7、B8、B9、B10、B11、B12、B13、B14、B16、B17、B18、B19、C1、C2、C3、C5、C6、C7、C8、C10、C12、C13、C14、C15、D3、D4、D5、D6、D7、D8、D9、D10、D11

数量(个） 8 7 50

二次值均值 0.990 0.686 0.371

科室数量（个）数据包络分析的要求，按照功效系数法将主成分综合得分转化为正值。根据二次相对评价模型，调整后的2015年综合得分为参考指数，2016年综合得分为当前指数。为直观比较各科室的科研绩效及相关指标变化情况，分20100

外科

5

1

14

4

15

12

2

1

1

1

9

优良中等较差

内科

科室类别

中医医技

图1 2016各类科室二次相对评价值分类数量分布

·18· Chinese Hospitals,Nov.2019,Vol.23,No.11

SPECIAL PLANNING 特别策划

良的科室可分为两种情况：第一种情况为参考指数、当前指数均较高，如A16，参考指数与当前指数分别排名第8和第1，说明该科室科研基础条件较好，科研产出水平较高，但并未对现有情况感到满足，而是通过主观努力，精益求精，从而保持较高的二次评价值。另外一种情况为参考指数较低，当前指数较高，如C4，参考指数与当前指数分别排名第22和第5，说明该科室科研基础条件较差，但通过管理者发挥主观能动性，使2016年科研成果相较于2015年有了较大的提高，从而获得了更高的二次相对评价值。二次相对评价值中等的科室有7个，占全部科室的10.77%，内科科室占比最高，其他类科室数量一致。中等类科室2016年的科研成果相较于2015年均取得了进步，但进步空间要小于优良类科室。其原因是该类科室基础条件较好或较弱，上升的空间比较小，相比较优良类科室没有明显的提升。如B2科室，参考指数排名第3，当前指数排名第6，2016年较2015年虽取得进步，但进步空间较小。同理，二次相对评价值较差的科室共50个，占全部科室的76.92%，四类科室中较差类占比都最高。二次相对评价值较差的科室也可分为两种情况：第一种情况为参考指数较高、当前指数较参考指数上升幅度小甚至倒退，如A4，参考指数与当前指数分别排名第1和第21，当前指数较参考指数有较大幅度下降，说明该科室虽然基础条件较好，科研产出水平也较高，但相较于其他科室，未通过积极的努力来维持或提高自身科研绩效，从而获得较低的二次相对评价值。另外一种情况为参考指数与当前指数均较低，如D3，参考指数与当前指数分别排名第44和第46，说明该科室本身基础条件较薄弱，科研产出水平较低，管理者需对扭转科研劣势而付出更多的努力。综合二次相对评价和聚类分析结果可知，二次相对值在不依赖客观基础条件前提下，衡量当前指数的相对提升幅度。2015年和2016年科研成果较高的科室未必能获得较高的二次相对评价值，基础条件较差的科室也能通过努力获得较好的排名。有助于各科室从二次相对值的排名和分类中对自身进行定位，寻找差距，从主观努力程度及管理上寻找原因，避免将落后的原因都归结于客观条件。得较高的绩效排名。对于基础条件较好的科室同样具有鞭策作用，虽然该类科室有较好的科研基础，但若安于现状，不求进取，同样会获得较低的评价值。因此，二次相对评价能克服基础条件的差异对评价结果的影响，说明管理水平及主观努力程度对结果的影响，能促进科研绩效评价的公正性和科学性，调动科研积极性，可为医院科研绩效动态评价提供方法参考。考察主观努力程度后，通过分析管理效率高低的原因以及对策，可为科学地评价管理者的工作、全体员工的努力程度和提高管理水平提供有效的途径。参考文献

[1] 葛虹,黄掉,冯英浚.企业管理的有效性、管理效率与管理变迁[J].运筹与管理,2007(5):27.[2] 冯英浚,高欣,魏松贤.生产有效性与管理有效性[J].管理工程学报,2001(3):27-29.

3 讨论基于主成分分析来评价各科室的科研绩效，其评价方法是静态的，可反映各科室的科研实力，无法消除基础条件的差异，反映各科室的主观努力程度对科研产出的贡献。这样的评价方式可能会造成各科室倾向于从客观条件上寻找落后原因，忽略了对自身努力程度的分析。因此，主成分分析、DEA、层次分析法等传统综合评价方法只是对生产有效性的分析，是特定时间下，投入产出水平的衡量，包含基础条件和管理的评价，缺少公平性，激励效果有限。二次相对评价模型从科研绩效的动态变化中对各科室的主观努力程度进行评价。由评价结果可知，二次相对评价对基础条件较为薄弱的科室具有较大的正向激励作用，该类科室只要通过主观努力和良好的管理制度，就能使科研工作获得较大的提高，获[3] 郭锐敏,常宗平,孙瑞华,等.运用主成分聚类分析法评估医院科室科研绩效[J].中国卫生统计,2017,34(3):503-504.

[4] 樊荣,马谢民.主成分分析法评价医疗机构医保费用管理[J].中国医院,2017,21(7):53-55.[5] 林海明,杜子芳.主成分分析综合评价应该注意的问题[J].统计研究,2013,30(8):25-31.[6] 李静,宗诚,姚静.基于数据包络分析的医院临床科室卫生资源配置效率评价[J].中国医院,2018,22(2):30-32.

[7] 王建宏.基于DEA二次相对效率模型的高校科研绩效实证研究[J].南通大学学报(社会科学版),2015(3):114-120.

[8] 常娜,吴群红,郝艳华,等.基于主成分聚类分析的医保制度整合障碍性因素研究[J].中国医院管理,2018,38(1):56-58.

[9] 孙振球.医学统计学[M].北京：人民卫生出版社，2010:358.

[10] 高伟正.我国上市公司管理有效性评价研究[D].哈尔滨：哈尔滨工业大学,2007.

通信作者

孙瑞华：中日友好医院临床研究所临床研究数据与项目管理平台副主任，北京中医药大学教授

E-mail：sunruihua@263.net

[收稿日期 2019-06-11](责任编辑 王远美)

2019年11月第23卷第11期 ·19·