作者简介:
周罡(1980-),男,兰州人,主治医师,硕士研究生,以心血管疾病机制及诊疗为主要研究方向。廖绪亮(1997-),男,四川德阳人,本科生,以临床医学和系统评价方法学为主要研究方向。
周罡和廖绪亮为共同第一作者。
目的 基于SYRCLE动物实验偏倚风险评估工具,对国内中医药领域发表的由国家自然科学基金资助的动物实验的方法学质量及其存在的问题进行回顾性分析,为后续研究的设计和实施提供参考依据,以促进国内动物实验研究质量的提升。方法 计算机检索中国科学引文数据库,检索时间限定为2011-2016年。由4名研究者独立筛选和提取资料,并交叉核对。组间比较采用卡方检验,检验水准α=0.05。结果 最终纳入971篇研究,其中50.8%的研究被引次数为零,资助类型和学科中所占比例最高分别为面上项目(57.0%,553/971)和中医药领域H27(32%,316/971)。基于SYRCLE工具的评价结果显示:超过一半的亚条目(68.2%,15/22)的“低风险”符合率低于60%,甚至其中73.3%(11/15)的亚条目的“低风险”符合率低于10%。此外,随着SYRCLE工具的发布,大部分亚条目的“低风险”符合率并未得到提高( P>0.05)。结论 国内中医药领域目前发表的由国家自然科学基金资助的动物实验的方法学质量较低,而且随着SYRCLE动物试验偏倚风险评估工具的发布,其方法学质量并未得到改善和提高。
Objective To provide references for the design and implementation of follow-up animal experiments and finally promote the transformation and utilization of its results, we made a retrospective analysis entirely of the quality of animal experiment methods and the existing problems in NSFC-funded Chinese medicine field by means of SYRCLE bias risk tool.Methods Four independent researchers extracted the data and cross-checked. Chi-square test were used for comparison between groups, and level of test was α=0.05.Results The final results include 971 researches in which the proportion of researches that weren't cited was 50.8%. The proportion of general program(57.0%,553/971) and H27 (32%, 316/971) were the highest in the funding categories and disciplines. Based on the results, we can see a majority of the sub-entries (68.2%, 15/22) are below 60% of the “low risk” compliance rate, and even 73.3% (11/15) of the sub-entries are below 10%. Besides, with the publication of the SYRCLE bias risk tool, a majority of the sub-entries have not been improved at the “low risk” compliance rate( P>0.05).Conclusions Our result show that the quality of animal methods in NSFC-funded Chinese medicine field is low, and the methodological quality has not been improved with the publication of SYRCLE bias risk tool.
动物实验是在实验室内为获得有关生物学、医学等方面的新知识或解决具体问题而使用动物进行的科学研究[1], 在临床研究中起着不可替代的作用, 是连接基础研究和临床研究的重要桥梁[2, 3]。
但令人遗憾的是, 越来越多的研究发现[4, 5, 6, 7], 即使在国外SCI收录期刊上发表的动物实验, 其报告质量也不尽如人意。英国国际实验动物3Rs中心(National Centre for the Replacement, Refinement and Reduction of Animals in Research, NC3Rs)对其所资助的动物实验进行回顾性分析后发现[8]:87%和86%的实验未实施“ 随机分配” 和“ 盲法” , 33个实施了“ 随机化” 原则的动物实验中, 仅9%(3/33)的实验在其研究报告论文中阐述了具体的随机化方法, 使得这些由3Rs中心所资助的动物实验研究成果的利用率和转化率低下, 最终导致3Rs中心科研基金的投入产出比不成正比。因此, 2014年Hooijmans等多名研究人员制定和发布了实验室动物实验系统审查中心(SYstematic Review Centre for Laboratory animal Experimentation, SYRCLE)动物实验偏倚风险评估工具, 是目前唯一一个专门适用于动物实验内在真实性评估的工具, 可用于有效指导动物实验的实施, 促进其质量提升[2]。作为国内最大的资助基础研究的机构, 2016年国家自然科学基金(national natural science foundation of China, NSFC)对中医药领域资助项目数达1 311项, 资助额度达到52 152万元[9], 这也使得国内中医药领域动物实验相关的科技论文数量亦呈现高速增长的趋势。众所周知, 科研论文是连接证据生产者和证据使用者的主要桥梁, 只有高质量的科学研究才能提供尽可能接近科学真实的证据。但迄今为止, 并无研究对国内发表的由NSFC资助的动物实验方法学质量和现状进行全面的回顾分析。
因此, 本研究旨在基于SYRCLE动物实验偏倚风险评估工具, 全面评估国内发表的由NSFC资助的中医药领域动物实验方法学质量及其存在的问题, 为后续动物实验的设计和实施提供参考依据, 促进国内动物实验研究的质量的提升, 最终促进其成果的转化和利用。
纳入NSFC资助的中医药领域原始干预类动物实验, 不限制动物种属和干预手段。排除重复研究、非医学类动物实验、基于动物组织/器官或细胞等的体外实验, 对于同时纳入动物和人体实验的亦排除。
计算机检索中国科学引文数据库(CSCD), 检索词包括鼠、兔、狗、猴、猪、猿、犬、羊、动物; 检索时间限定为2011-2016年; 基金限定在NSFC。
由2名研究者(廖绪亮、赵梦娜)按照上述纳入/排除标准, 独立进行文献筛选, 并进行交叉核对。如果遇到不同的意见, 由第三位研究者(许家科)裁决或讨论决定。
由4名研究者(廖绪亮、闫琼、赵梦娜、王欢)独立提取相关资料并交叉核对。提取信息如下:①基本信息:包括发表时间、期刊名称、杂志性质、NSFC资助项目、资助学科领域、第一作者单位、第一作者单位性质、第一作者身份、作者数量、被引次数(谷歌学术)、涉及疾病范围及分类(ICD-10)、治疗措施类型; ②偏倚风险评估结果, 基于SYRCLE工具的10个条目共22个亚条目(见表1), 评估结果最终以“ 是” 、“ 否” 、“ 不确定” 表示, 其中“ 是” 代表低风险偏倚, “ 否” 代表高风险偏倚, “ 不确定” 代表不确定风险偏倚。最后计算每个亚条目的“ 低风险” 的符合率。
根据文献不同发表时间(≤ 2014年vs. > 2014年)进行亚组分析(以SYRCLE动物实验偏倚风险工具发布时间2014年为分组阈值)。
采用Office Excel 2013进行统计学分析, 计数资料(如期刊类别、杂志性质、项目类别、资助学科领域、第一作者单位性质、第一作者身份)采用例数(N)和百分比(%)进行统计描述; 计量资料(如作者数量)采用中位数和四分位数间距进行统计描述; 组间比较采用卡方检验, 检验水准α =0.05。
近年来, 中医药领域干预类动物实验研究的发表数量呈现逐年增长趋势, 见图2。
在纳入的971个研究中, 作者数量的中位数和四分位间距为6(5~7)。第一作者大部分来自非985/211高校(56.0%, 544/971)和三甲医院(18.0%, 175/971), 见图3。大部分研究发表在专业期刊上(78.3%, 760/971)。被引用次数小于5 的研究所占比例高于80%(86.5%, 840/971), 其中50.8%的研究被引次数为零, 见图4。
资助类型排前三位的分别是面上项目(57.0%, 553/971)、青年科学基金(20.3%, 197/971)和地区科学基金项目(16.3%, 158/971)。资助学科领域, 以中医领域(H27)所占比例最高(32%, 316/971), 中药领域(H28)次之(24%, 232/971), 中西医结合领域(H29)所占比例最低(12%, 116/971), 见图5。
纳入的971个研究, 涉及的疾病范围排前3位的分别为内分泌营养和代谢疾病(14.0%, 136/971)、消化系统疾病(13.9%, 135/971)和循环系统疾病(12.5%, 121/971)。对治疗措施而言, 中药治疗所占比例最高(89.7%, 871/971), 其次为针灸(7.4%, 72/971), 如图6。
总体而言, SYRCLE偏倚风险评估工具所包含的10个条目共22个亚条目中, 超过一半亚条目(68.2%, 15/22)的“ 低风险” 符合率低于60%, 甚至其中73.3%(11/15)的亚条目的“ 低风险” 符合率低于10%。
选择性偏倚涉及的5个亚条目(亚条目1~5)中, 亚条目1、亚条目3和亚条目5的“ 低风险” 符合率低于40%, 其中亚条目3的“ 低风险” 符合率为0, 亚条目5的“ 低风险” 符合率低于1%(0.5%, 5/971)。亚组分析结果显示:亚条目1“ 低风险” 的符合率在两组之间的差异有统计学意义(P< 0.05)。
实施偏倚涉及的3个亚条目(亚条目6~8)中, “ 低风险” 符合率均低于10%, 亚组分析结果显示:亚条目6~8的“ 低风险” 符合率在两组之间的差异均无统计学意义(P> 0.05)。
测量偏倚涉及的3个亚条目(亚条目9~11)中, 亚条目9(59.2%, 575/971)和亚条目10(59.2%, 575/971)的“ 低风险” 符合率均低于60%; 亚条目11 的“ 低风险” 符合率甚至低于1%(0.31%, 3/971), 亚组分析结果显示:亚条目9~11的“ 低风险” 符合率在两组之间的差异均无统计学意义(P> 0.05)。
失访偏倚涉及的4个亚条目(亚条目12~15)中, 亚条目12的“ 低风险” 符合率低于60%(50.4%, 489/971), 亚条目13(3.9%, 38/971)和亚条目14(3.3%, 32/971)的“ 低风险” 符合率低于5%, 亚条目15的“ 低风险” 符合率低于1%(0.3%, 3/971), 亚组分析结果显示:亚条目13、亚条目14的“ 低风险” 符合率在两组之间的差异有统计学意义(P< 0.05)。
报告偏倚涉及的2个亚条目(亚条目16~17)中, 亚条目17的“ 低风险” 符合率较高(99.3%, 964/971), 但亚条目16的 “ 低风险” 符合率低于1%(0.4%, 4/971), 亚组分析结果显示:亚条目16~17的 “ 低风险” 符合率在两组之间的差异均无统计学意义(P> 0.05)。
其他偏倚涉及的5个亚条目(亚条目18~22)中, 亚条目18(100.0%, 971/971)、亚条目19(99.9%, 970/971)、亚条目20(100.0%, 971/971)、亚条目21(99.7%, 968/971)的“ 低风险” 符合率均较高, 但亚条目22的“ 低风险” 符合率低于1%(0.2%, 2/971), 亚组分析结果显示:亚条目18~22 的“ 低风险” 符合率在两组之间的差异均无统计学意义(P> 0.05)(表1)。
本研究是国内首个基于SYRCLE动物实验偏倚风险评估工具, 对NSFC资助的动物实验的方法学质量及现状进行回顾分析的研究, 对反思由NSFC资助的该领域已发表研究存在的问题, 提高今后动物实验研究质量具有重要的指导意义。
本研究结果显示:纳入的研究中, 被引用次数小于5的研究所占比例高于80%(86.5%, 840/971), 其中50.8%的研究被引用的次数为零。这与董建军等[10]的研究结果相似, 可能与目前国内已发表的动物实验研究的质量较低有关, 这也可从刘雅莉、陈匡阳、双梅等[11, 12, 13]的研究得到佐证。而且, 我们基于SYRCLE偏倚风险工作对纳入研究的评估结果亦提示如此。
SYRCLE 动物实验偏倚风险评估工具, 是在 Cochrane 偏倚风险评估工具的基础上研发而来[2], 适用于动物实验内在真实性评估的工具, 共包括选择性偏倚、实施偏倚、测量偏倚、失访偏倚、报告偏倚和其他偏倚6类偏倚。其中, 选择性偏倚是指比较组的基线特征之间的系统差异[14], 在动物实验研究中主要通过使分配序列产生随机化、基线的调整、疾病动物建模和分配隐藏等措施来加以控制。本研究显示:亚条目1(描述具体的随机方法)的“ 低风险” 符合率仅为30%左右, 虽然2014年之后发表的研究在该亚条目“ 低风险” 的符合率方面得到一定程度的改善和提高, 但实际的符合率亦低于50%。此外, 亚条目5(随机序列的不可预测性)的“ 低风险” 符合率仅为0.5%, 而且随着SYRCLE 动物实验偏倚风险评估工具的发布, 该条目在“ 低风险” 的符合率方面并未得到改善和提高(P> 0.05), 其实际符合率依然低于1%。该结果明显低于Kilkenny等[8]的研究, 这可能与研究人员对隐蔽分组方法在选择偏倚的控制方面尚缺乏了解有关。因此, 要求实验人员在今后的实验过程中为避免/降低选择性偏倚, 不仅要重视随机方法的正确实施, 更需要重视对所产生序列的有效隐藏, 以达到有效降低选择偏倚的目的。
实施偏倚指除感兴趣的干预措施外, 组间护理、暴露因素等存在的系统差异[14]。如有研究显示架子顶端的笼子所接受的光照强度是架子底端的4倍[2], 光照强度的轻微改变会对动物的生殖和行为产生影响和改变[2, 15, 16, 17]等。因此, 动物安置方式随机化可以对由此产生的实施偏倚加以控制。此外, 在Hooijmans等[2]的研究中指出, 如果动物饲养员提前知道药物可能会导致癫痫的发作或增加尿量, 可能会更多地处理接受该药物组的动物或者清洁接受该药物组的笼子, 从而产生偏倚。因此, 对动物饲养者或研究者施盲是必要的。但本研究结果显示:在涉及“ 实施偏倚” 的亚条目6(动物房中随机安置笼子或动物)和亚条目7(对结局或结局指标的影响)以及亚条目8(饲养者和研究者的施盲方法不打破)的“ 低风险” 符合率均低于1%, 而且随着SYRCLE 动物实验偏倚风险评估工具的发布, 这些条目在“ 低风险” 的符合率方面并未得到改善和提高(P> 0.05)。该结果明显低于Wassenaar等[18]的研究, 这可能与国内研究人员对该领域所产生的实施偏倚的控制不够重视有关。这一点亦可从Ma等[19]的研究中得到佐证, 其结果显示:仅30.8%和41.4%的国内研究人员认为实施“ 动物安置随机化” 和“ 对动物饲养者和研究者实施盲法” 是必要的。因此, 今后的研究人员应更加重视通过多种方式对实施偏倚的控制。
测量偏倚是指测量组间结局存在的系统差异, 其中盲法实施与否是影响测量偏倚大小的重要措施之一[14]。由于多数生物存在昼夜节律现象[20], 若在对结果进行测量时未采用随机化的方法, 而仅在某一个时间段对样本进行测量和评价, 则可能产生测量偏倚的风险。此外, 在动物实验中, 大部分研究者又同为动物饲养者, 因此若未对动物饲养者施盲, 则可能会导致其预期实验结果产生主观偏倚[3]。本研究显示:亚条目9(研究者随机选取动物)和亚条目10(结果评价者的施盲方法不被打破)的“ 低风险” 符合率仅为60%左右, 亚条目11(对结果评价者未采用盲法但不影响其结局指标的测定)的“ 低风险” 符合率仅为0.3%, 而且随着SYRCLE 动物实验偏倚风险评估工具的发布, 这3个亚条目在“ 低风险” 的符合率方面并未得到改善和提高(P> 0.05)。而且, Ma等[19]的研究亦提示:仅64.7%和59.4%的国内研究人员认为实施“ 随机性结果评估” 和“ 对结果评价者采用盲法” 是必要的。因此, 今后研究需要更加重视通过盲法的有效实施和随机性结果评估的方法对实验中可能产生的测量偏倚加以控制和降低, 以提高结果测量的准确性和科学性。
失访偏倚是由于动物死亡或丢失等因素造成的部分数据缺失对最终结果产生影响, 在动物实验过程中, 存在一定的失访是正常情况, 关键在于研究者对此部分数据的处理[14]。本研究显示:亚条目12(所有动物都纳入最后的分析)和亚条目15(对缺失数据采用恰当的方法进行估算)的“ 低风险” 符合率分别为50.4%和0.3%, 而且随着SYRCLE 动物实验偏倚风险评估工具的发布, 这两个亚条目在“ 低风险” 的符合率方面并未得到改善和提高(P> 0.05)。亚条目13(报告缺失数据影响结果真实性原因)和亚条目14(缺失数据在各干预组内相当且各组缺失原因相似)的 “ 低风险” 符合率均低于5%, 且随着SYRCLE 动物实验偏倚风险评估工具的发布, 该亚条目在“ 低风险” 的符合率方面不但未得到改善反而有所降低(P=0.000 42和P=0.021 58)。因此, 要求研究人员在今后的研究中需要更加重视对缺失数据的处理。在临床研究中经常使用意向性分析(ITT分析)的方法处理缺失数据[21, 22, 23], 该方法在动物实验中也同样适用。
报告偏倚是指报告和未报告结果之间的系统差异, 这可能与阳性的结果更容易解释和发表、或者研究者存在可能影响实验结果的利益冲突等有关[14] 。虽然, 对于临床研究而言, 目前已要求必须在WHO及其一级注册平台注册, 并鼓励相关期刊发表其计划书[24, 25, 26], 但对动物实验并无相关要求。本研究显示:亚条目16(可获取研究计划书, 所有的主要和次要结局均按计划书预先说明的方式报告)的“ 低风险” 符合率低于1%, 且随着SYRCLE 动物实验偏倚风险评估工具的发布, 该亚条目的“ 低风险” 符合率方面并未得到改善和提高(P=0.181 13)。因此, 今后有必要制定相关政策, 开展对动物实验的注册或登记, 以有效降低选择性报告偏倚的产生。
此外, 本研究尚存在一定的局限性, 仅检索了CSCD数据库且仅纳入NSFC资助的国内发表的中医药领域的动物实验干预性研究, 其结果可能并不能够代表国外发表的由NSFC资助的研究或者其他非NSFC资助/非CSCD数据库的动物实验研究质量。
综上所述, 虽然国内发表的由NSFC资助的中医药领域动物实验数量逐年递增, 但大部分未被同行引用, 总体的方法学质量较低, 而且随着SYRCLE动物试验偏倚风险评估工具的发布, 其方法学质量并未得到改善和提高。因此, 今后有必要在国内积极推广和普及SYRCLE动物实验偏倚风险评估工具, 并开展相关教育, 提高国内科研人员对该工具的认知度, 以促进和完善国内研究人员对动物实验的方法设计, 最终提升国内动物实验的方法学质量, 促进其成果的转化和利用。
[1] |
|
[2] |
|
[3] |
|
[4] |
|
[5] |
|
[6] |
|
[7] |
|
[8] |
|
[9] |
|
[10] |
|
[11] |
|
[12] |
|
[13] |
|
[14] |
|
[15] |
|
[16] |
|
[17] |
|
[18] |
|
[19] |
|
[20] |
|
[21] |
|
[22] |
|
[23] |
|
[24] |
|
[25] |
|
[26] |
|