【文章精选】李晓倩、马亮丨公共管理实验研究中的实验报告：现状与评价——以国际期刊论文为例丨2021年第1期
公共管理实验研究中的实验报告：现状与评价
——以国际期刊论文为例
李晓倩 马亮
PAPR
【摘要】近年来实验方法开始应用于公共管理研究中，但是对于如何在论文中报告实验还没有统一的规范，这使得目前公共管理实验研究在报告时呈现出不同的特点，在一定程度上影响实验研究的有效交流与方法推广。本文对当前公共管理实验研究中实验报告的现状进行了系统考察与评价。具体针对当前公共管理实验研究论文中对于方法和结果的报告，围绕实验报告中规范性较强的内容以及虽然没有很强规范性但有较强推荐性的内容，从若干细分项目上对当前国际期刊发表的公共管理实验研究中实验报告的情况进行了编码分析。基于分析结果对可以改进的方面进行了评价，对未来的发展方向提出了一些参考性建议。研究结果有助于提高和增强公共管理实验研究的交流效率和交流效果，促进研究透明以及未来公共管理实验研究中实验报告规范的形成。
【关键词】实验研究；实验报告；实验方法；研究方法
【作者介绍】李晓倩：华中科技大学公共管理学院副教授，xiaoqianli@hust.edu.cn；马亮：中国人民大学公共管理学院教授，liangma@ruc.edu.cn。
【引用格式】李晓倩,马亮.公共管理实验研究中的实验报告:现状与评价——以国际期刊论文为例[J].公共管理与政策评论,2021,10(1):55-65.
【文章结构】
一、引言
二、公共管理实验研究中实验报告的分析框架
（一）方法
（二）结果
三、当前公共管理实验研究中实验报告的分析：以国际期刊发表为例
（一）方法
（二）结果
四、公共管理实验研究中实验报告的现状与评价
（一）方法
（二）结果
五、结论
扫描二维码免费下载本文
一、引言
近年来，实验方法逐渐受到公共管理研究者的重视。一方面，国内外学者已经对实验方法在公共管理研究中的应用进行了阐述[1，2，3，4，5]，提出了一些指导性建议[6]，并对公共管理实验研究当前呈现出的特征和发展趋势进行了评述[7，8]。另一方面，随着公共管理实验研究的兴起，我们发现，由于当前公共管理研究领域对于如何在论文中报告实验还没有形成统一的规范，当前发表的公共管理实验研究在实验报告上呈现出不同的特点。
实验报告是实验研究论文的重要组成部分，准确恰当的实验报告对于实验研究的有效交流起着重要作用。在实验方法应用相对成熟的其他社会科学研究领域，已经形成了在研究论文中如何报告实验的约定俗成的规范。例如美国心理学会根据研究发展与实践现状不定期组织学者更新研究（包括实验研究）报告的规范[9，10]，在医学健康领域有被广泛应用的随机控制试验（Random Controlled Trials）的CONSORT，这些规范为促进学术透明以及研究者如何更好地交流成果提供建议。对于刚刚兴起的公共管理实验研究而言，论文中实验报告的准确恰当程度会直接影响到公共管理实验研究的有效交流以及方法应用推广。
本研究对当前公共管理实验研究中的实验报告情况进行系统考察，对其现状以及可以改进的方面进行分析和评价，研究结果有助于提高和增强公共管理实验研究的交流效率和交流效果，促进研究透明以及未来公共管理实验研究中实验报告规范的形成。具体而言，本研究以心理学研究实验报告为参照对象，针对当前公共管理实验研究论文中有关方法和结果的报告，围绕实验报告中规范性较强的内容（例如有清晰的实验假设），以及虽然没有很强规范性但有较强推荐性的内容（例如进行操纵检验），从若干细分项目上对当前国际期刊发表的公共管理实验研究中的实验报告情况进行了考察和评价，并对未来的发展方向提出了一些参考性建议。
二、公共管理实验研究中实验报告的分析框架
通过参考心理学经典教材《心理学实验的设计与报告》（Designing and Reporting Experiments in Psychology）[11]，结合心理学实验研究论文的典型实践与公共管理实验研究论文的实践现状，本研究首先构建了一个用来分析和评价公共管理实验研究中实验报告的研究框架（见图1）。在这个框架中，包括典型的实验报告所包含的方法和结果两个部分，其中方法部分从样本、设计和实施三个子维度分析，共包括10个项目，结果部分包括3个项目，总计13个项目；每部分的分析项目同时涉及实验报告中规范性较强的项目和推荐性较强的内容。下面对该框架中具体的分析内容进行说明。
（一）方法
1.样本
对于样本情况的考察，分别从样本分配的随机性、样本选取的代表性以及样本量上进行分析。其中样本分配的随机性与实验研究的内部效度评价相关，属于实验报告的规范性内容；样本选取的代表性主要与研究外部效度评价相关，虽然并不是心理学实验研究中的规范性内容，但在公共管理研究中属于较为关注的项目，我们将其作为推荐性内容进行分析；样本量是对实验研究中使用的样本数量的报告，分别需要报告样本总量以及单个条件的样本量，属于实验报告的规范性内容。
（1） 样本分配。
在公共管理实验研究中，目前使用最广泛的实验设计是被试间设计（between-subjects design）[7，8]。对被试间设计而言，在条件间随机分配（random assignment）样本是确保研究内部效度的一个重要方式。随机分配的主要优势是可以将条件间可能存在的系统性样本差异平衡（balancing）或者平均化（averaging out），从而确保条件间的差异只来自于自变量的变化。因此，在被试间设计的实验研究中，随机分配样本是非常典型的操作，我们将其作为公共管理实验研究中实验报告的一项考察指标，以便于了解和评价实验操纵的可靠程度。
具体而言，样本分配的随机性评价分别针对样本分配时是否随机，以及样本分配后有无进行平衡性检验两个方面展开。样本的平衡性检验是针对不同条件间的样本在一些可能引起混淆的变量上的差异进行检验，同时也是确保样本随机分配的一个检验方式。
（2） 样本选取。
代表性样本（representative sample）是与总体特征相匹配的样本，采用代表性样本可以更好地反映总体的情况。使用代表性样本并不是实验研究的必要条件，尤其对于旨在检验理论的研究[12，13]，但对于注重外部效度的实验研究使用代表性样本有助于其实验结论的推广。鉴于公共管理学者对代表性样本的高关注度，我们将样本代表性作为公共管理实验研究的一项考察指标，有利于了解和评价当前公共管理实验研究中代表性样本的使用情况。
具体而言，对样本选取代表性的分析分别针对抽样前是否进行代表性抽样，以及抽样后是否进行样本代表性检验这两个方面展开。代表性抽样可以保证研究结论从样本到总体的可推广性，而代表性检验可以确定研究结论的可推广程度。
（3）样本量。
样本量通常作为评价研究可靠性的指标之一。一般而言，样本量是由统计抽样的基本原理、研究内容和方法，以及研究本身的客观条件等因素决定的，研究者可以根据抽样理论或经验公式计算样本量。实验研究的样本量需要考虑自变量的数量和每个自变量的取值数，以及实验设计的类型。一般而言，自变量及其取值数越多，样本量需求也越大；相对来说，被试内实验设计需要的样本量小于被试间设计和混合设计[14]。
根据样本量的大小，实验研究可以分为大样本范式和小样本范式[15]。大样本范式以随机化程序选择大量样本，对样本施加少量的实验控制，运用统计方法来检验研究结果，其基本逻辑是样本量越大，统计检验越有效。小样本范式的基本思想则是对少量样本进行大量的实验控制，与大样本范式相比，其优势在于可以针对特殊群体样本进行研究，在样本量较小的情况下进行研究，以及在需要深入追踪和测量的情况下进行研究，其劣势则是外部效度不高。实验研究者一般根据具体的研究目标和内容选择使用大样本范式或小样本范式。
我们将样本量作为公共管理实验研究的一项考察指标，可以了解和评价样本量影响下的研究可靠度。具体而言，对样本量的考察主要从是否报告了总体样本量以及是否报告了条件样本量两个方面进行。除此之外，区别于心理学实验较多使用小样本范式，我们注意到公共管理实验研究中对于大样本范式的青睐，因此我们也对样本量的大小进行了考察。
2.设计
对于设计的考察，分别从实验假设、实验设计、自变量和因变量四个项目上进行分析，这四项内容是一项实验方法应用的基本组成部分，属于实验报告的规范性内容。
（1） 实验假设。
实验假设是对研究中变量之间的关系进行的设定和预测，基于实验假设，研究者可以通过操纵自变量来预测因变量的变化。实验假设的预测可以采取无方向（nondirectional）的预测和有方向的（directional）预测，其中无方向的预测只对条件间的差异做出预测（即自变量的变化会引起因变量的变化），而有方向的预测除了对条件间的差异进行预测，还对差异的方向性做出预测（即自变量的变化会引起因变量的增加还是减少）。
具体而言，我们对实验假设的考察主要从实验报告中是否包含实验假设以及实验假设的预测是否有方向性两个方面进行。我们还注意到在公共管理的实验研究中存在一定数量实验假设没有被验证的情况，因此我们还对实验假设是否得到验证进行了考察；对于有多个实验假设的研究，又进一步从假设得到部分验证还是全部验证进行考察。
（2）实验设计。
实验设计是实验研究的精髓所在。广义的实验设计包含实验方法应用的各个方面，狭义的实验设计主要体现在两个方面：根据自变量的数量分为单因素设计和多因素设计，根据样本在实验条件间的分配方式分为被试内设计、被试间设计和混合设计。其中单因素设计是自变量只有一个的设计，多因素设计是含有两个以上自变量的设计；被试内设计是将所有实验条件分配同一被试的设计，被试间设计是不同实验条件分配给不同被试的设计，混合设计是实验中同时包含被试内设计和被试间设计的情况。本研究框架中的实验设计主要是指其狭义的内容，对实验设计的考察针对文章中是否有清晰传递关于实验设计是单因素还是多因素，以及是被试内、被试间还是混合设计的信息。
（3）自变量。
自变量既是实验操纵的对象，也是实验干预的体现，清晰的界定和操纵自变量是实验研究成功的关键。本研究框架中我们考察了论文中是否有清晰的报告研究的自变量。
（4）因变量。
因变量既是实验观察的对象，也是实验干预结果的体现。因变量的数量通常由研究的理论假设决定，在一定程度上可以反映理论模型的特征；在其他条件不变的情况下，因变量越多，研究的理论贡献也相对更大，同时也可以增强研究结果的普遍性[16]，并增强变量测量的稳定性。因变量可以有不同的测量方式，其信效度直接关系到研究结果的可靠性。针对因变量我们主要考察了论文中是否有清晰的报告因变量、是否有报告因变量的数量，以及是否有报告因变量的测量方式。除此之外，我们也对实验研究中因变量的数量以及因变量的测量方式进行了统计，有助于了解当前公共管理实验研究中理论和测量模型的特征。
3.实施
对于实验实施的考察从实验程序、实验材料和实验伦理三个方面进行，其中实验程序和实验材料是实验报告的必要组成部分，也是实验报告的规范内容；有关实验伦理的内容是实验报告的推荐内容。
（1）实验程序。
实验程序是对实验实施过程的报告，主要记录研究人员对实验对象的操作内容和程序，其目的是为了让读者可以通过这部分的描述来了解实验过程，并且能精确复制实验。重复（replication）对于实验研究具有非常重要的意义，尤其是社会科学实验研究的可重复性近年来受到研究者的格外重视，包括正在兴起的公共管理实验研究[17，18，19，20]。针对实验程序我们主要考察了公共管理实验研究中是否有报告实验实施的程序。
（2）实验材料。
实验材料是实验研究的重要载体，是研究者向研究对象传递实验操作和信息的主要途径。一方面，实验材料可以向读者展示实验的关键操纵；另一方面，实验材料与实验程序一样，可以方便读者复制实验。针对实验材料我们主要考察了公共管理实验研究中是否有报告实验材料的内容。
（3）实验伦理。
研究中的伦理问题是一个重要话题，它关系到进行科学研究的基本价值取向。例如，美国心理学会的伦理规则（ethics code）明确了研究者在开展科研研究时应该共同遵守的基本价值观。由于实验研究通常涉及研究者人为实施的外在干预，而这些干预可能会对研究对象产生生理或者心理上的伤害，这使得实验研究中的伦理问题变得格外重要。在一些研究内容具有较高伦理敏感性的学科（例如医学领域）开展实验研究，通常要经过严格审查。例如，伦理审查委员会（Institutional Review Boards，IRB）旨在保护研究中人类被试的权利和福利，在欧美的大学和研究机构中广泛存在，以人类为被试的研究都需要经过IRB的审查才能开展。此外，在一些社会科学领域的实验研究中，欺瞒（deception）也是被讨论较多的一个伦理问题。研究者有时需要通过隐瞒一些信息或者实施一些虚假信息，来获得研究对象在特定情景下的反应。通常来说，研究者需要在研究结束后尽可能快地对研究对象进行说明（debriefing）。针对实验伦理我们主要考察了公共管理实验研究中是否有报告实验伦理的相关内容。
（二）结果
在对结果的评价中，我们选取了操纵检验、分析方法以及结果呈现三项作为分析项目，其中操纵检验是实验报告的推荐内容，分析方法和结果呈现是实验报告的规范内容。
1.操纵检验
实验操纵（manipulation）是实验研究的核心特征，研究者通过实验操纵引起自变量的变化来观察因变量的变化，实验操纵的成功与否直接决定了研究的效度和信度。被试是否成功接收到实验操纵的影响直接决定实验操纵成功的前提，在实验后进行操纵检验是确保自变量操纵成功的一个重要方式，尤其对于非直接诱发自变量变化的情况。例如研究情绪对工作效率的影响，研究者有时会通过播放快乐或悲伤的电影片段来诱发被试的相应情绪，但是通过这个操纵方式是否可以真的诱发被试快乐和悲伤的情绪，可以通过进一步的操纵检验来验证（例如通过情绪量表对被试的情绪进行测量）。在本研究框架中，我们考察了论文中是否有包含操纵检验，可以了解和评价公共管理实验研究自变量操控的严谨性。
2.分析方法
实验研究的数据分析过程是检验研究假设的过程，不同研究设计可以有不同的统计分析方法。合理正确地使用分析方法可以真实探测变量之间的关系，从而验证研究假设并确保研究的信效度。对于数据分析方法，我们分别考察了论文中是否报告使用的数据分析方法、是否解释了使用数据分析方法的原因。此外，我们还对具体使用的数据分析方法进行了统计。
3.结果呈现
我们将实验结果的呈现作为一项考察指标。实验结果的报告是对实验研究“证据”的展示，清晰正确地向读者传递结果信息是实验研究的重要组成部分。针对结果的呈现，我们具体考察了两项内容，一是是否报告了效应量（effect size），二是是否使用图（figure）对结果进行展示。其中效应量表示自变量与因变量之间关系的强弱程度，即自变量对因变量有多大程度的影响。在近年来的心理学实验研究中，效应量已经纳入结果报告规范中；图是展示数据结果的重要方式，相比文字更加紧凑直观地表达数据的基本情况。
三、当前公共管理实验研究中实验报告的分析：以国际期刊发表为例
根据上述提出的对公共管理实验研究中实验报告进行分析的框架，我们对当前国际期刊发表的公共管理实验研究进行了分析。用于分析的文献来自ISI-Web of Science数据库中截至2016年底21本公共管理英文期刊，选取使用实验室实验、调查实验和实地实验的论文共计98篇。其中10篇研究包含两个以上实验，我们以实验个数为单位，总计分析了113个实验。
（一）方法
1.样本
（1）样本分配。
在使用被试间设计（n=103）和混合设计（n=8）的实验研究中，约86%的实验对样本在条件间的随机分配进行报告（n=95），约36%的实验对条件间样本特征的平衡性检验进行了报告（n=40）。
（2）样本选取。
在我们的分析对象中，不到10%的实验进行了代表性样本抽样的报告（n=10），约20%的实验报告了样本的代表性检验（n=23）。大约有不到10%的实验对于为什么使用非代表性样本进行了解释和说明（n=10），这些解释主要从两个方面展开。一是以往研究证实使用非代表性样本的研究结果同样具有可推广性，例如学生样本、网络样本[23]；二是由于实验研究的主要目标是内部效度（建立可靠的因果关系）而非外部效度，因此使用非代表性样本（学生样本、志愿者样本）也可以接受。
（3）样本量。
约97%的实验研究对总样本量进行了报告（n=110），但只有约65%的实验研究对每个条件的样本量进行了报告（n=74）。表1对研究的总样本量和条件样本量做了统计，可以看出实验间的样本量差异很大。就单个条件样本而言，其最大样本量为3 000，最小为15，中位数为103。一般而言，大样本量的实验研究是基于传统的调查研究，例如研究者将自己的实验研究嵌套于国家调查[29]，其单个条件样本量达到2 500人；而样本量较小的研究通常是实验室实验。
2.设计
（1） 实验假设。
约87%的实验研究有报告研究假设（n=98），这其中约14%的实验（n=14）仅就效应的差异性做了假设，约86%的实验（n=84）对效应的预期方向也做了报告。在这些提出假设的研究中，约24%的实验（n=24）的研究假设全部得到了数据支持，约62%的实验（n=61）的研究假设得到了部分支持，剩余约13%的研究假设没有得到数据支持。
（2）实验设计。
约85%的实验（n=96）明确报告了实验中的自变量的数量，传递了实验是单因素设计还是多因素设计的信息，约77%的实验（n=87）有明确报告被试在条件间的分配方式，传递了实验是采用被试间设计还是被试内设计的信息。
（3）自变量。
尽管所有的实验研究都有自变量，但只有约88%的实验（n=99）使用自变量（independent variable）、处理（treatment）、干预（intervention）等术语清晰地报告了自变量的内容或者操纵方式。
（4）因变量。
与自变量的报告情况类似，尽管所有实验研究都有因变量，但只有约85%的实验（n=96）使用因变量（dependent variable）、测量（measurement）等术语清晰地报告了因变量的内容或测量方式。
在因变量的数量方面，约58%的实验研究中只考察了1个因变量（n=66），其余实验研究考察了1个以上的因变量，其中2个因变量的实验约占13%，3个因变量的实验约占17%，4个因变量的实验约占9%，5个及以上因变量的实验约占2%。
在因变量的测量中，使用最多的是量表（包括李克特量表），约占总数的48%（n=54）；其次是评分题，约占22%（n=25），主要用来测量被试对于实验情景中相关绩效的评价，例如对于预算计划的评价[30]；再次是二选一的选择题，约占17%（n=19），主要用来测量被试是否采取了某个行为，例如面对不同的电力供应服务商，选择是否更换电力供应服务商的行为[31]；还有约14%的实验采用了任务或行为完成的数量测量因变量，例如护士在实验时间内制作手术包的数量。
3.实施
（1）实验程序。
95%的实验研究都对其实验程序进行了报告（n=107），只有约5%的实验没有对实验的实施程序进行报告（n=6）。
（2）实验材料。
约66%的实验研究在论文中（包括在附录中）提供了实验材料（n=75），剩余34%的实验研究没有提供其使用的实验材料。
（3）实验伦理。
约6%的实验报告（n=7）对实验伦理相关问题在论文中进行了说明，大部分的实验研究没有提及实验伦理问题。
（二）结果
1.操纵检验
约24%的实验（n=27）报告了对自变量的操纵检验。
2.分析方法
所有论文（100%）都报告了数据分析的方法，大约有19%的论文（n=22）报告了使用某种方法的理由。其中超过一半的实验（57%，n=64）使用回归分析（regression）作为分析方法，其次是方差分析（ANOVA），约有42%的实验（n=48）使用。另外，还有少量研究采用了多元方差分析（MANOVA，3%，n=3）、协方差分析（ANCOVA，4%，n=5）、多元协方差分析（MANCOVA，3%，n=3）以及相关分析（correlation，2%，n=2）。约有12%的实验采用了两种以上的分析方法（n=13）。
3.结果呈现
约有32%的实验（n=36）报告了效应量，约47%的实验（n=53）使用图形展示研究结果。
四、公共管理实验研究中实验报告的现状与评价
借助本文提出的公共管理实验研究的实验报告分析框架，我们对当前国外公共管理实验研究的实验报告情况做了分析。我们将根据上述分析结果对当前公共管理实验研究的实验报告现状进行总结与评价（见表2）。为了尽可能减轻评价的主观性，我们只对各项分析结果从“有待改善”和“可以提高”两个方面评价，其中“有待改善”是针对实验方法使用中具有较强规范性的维度，如果当前的实验报告在某一项上的表现未达到100%，即不是所有的论文都报告了某个项目，则评价为“有待改善”；“可以提高”是针对实验方法使用中没有较强规范性但有较强推荐性的维度，如果当前的实验报告在相应项目上的表现在50%以下，即有半数以下的论文都没有报告相应的项目，则评价为“可以提高”。同时，我们根据当前实验方法在公共管理研究中的应用现状，对其未来应用提出了可供参考的建议。
（一）方法
1.样本
对于被试间设计的样本分配，绝大多数研究（86%）对样本在条件间进行了随机分配，并有将近4成（36%）的研究对样本分配进行了平衡性检验。在样本选取方面，当前公共管理实验研究使用代表性样本的比例较小（不到10%），对样本进行代表性检验的比例也相对较小（约20%）。研究者使用非代表性样本主要有两个方面的原因，一是实验研究对内部效度的追求高于外部效度，即研究者以考察因果关系为目标，而不是为了推广到更广泛的人群；二是以往研究证据显示特定的非代表性样本（例如学生样本、网络样本）具有良好推广性。在样本量方面，目前公共管理实验研究使用的样本量变化幅度较大，从几十到几千不等（见表1）。绝大多数（97%）研究对使用的样本总量进行了报告，但只有不到7成（65%）的研究对条件样本量进行了报告。
在当前公共管理实验研究中，样本的相对高随机分配比例和低代表性样本使用比例反映了一般实验研究的规律：与外部效度相比，实验研究更加优先内部效度。结合公共管理研究的特征，未来实验研究对样本特征的把握需要做好两个方面的工作。一方面，对于被试间设计而言，样本在条件间的随机分配是保证实验研究内部效度的重要方式，也是评价实验研究质量的重要指标。除了由于实验目的或条件所限不能进行样本的随机分配外（这时可以考虑其他的被试分配方式，例如配对组设计），实验研究的样本都应该在条件间进行随机分配。
另一方面，在未来的实验研究中，研究者需要可以根据自己研究的目标进行样本的选取，如果主要是为了理论模型的验证和基本因果关系的探索，那么使用非代表性样本可以满足这样的需求；如果是为了将研究结论进行进一步的推广，那么在条件允许的情况下，可以尽可能地提高对样本进行代表性抽样的程度，以便提高研究的外部效度。
此外，还要尽可能规范样本量的使用。合理的样本量是实验研究信效度的保证，可以在保证研究质量的基础上，最大限度地优化实验成本（包括时间和经济成本）。在确定样本量的使用时首先要考虑实验类型、实验设计和实验开展条件等多方面因素的影响，其次也可以借助统计手段，例如功效分析（power analysis），根据期待的效应量来确定样本量。
2.设计
在实验假设方面，当前公共管理实验研究中将近9成（87%）的实验研究有实验假设，其中8成多的（86%）研究假设有明确的方向性；在这些有实验假设的研究中，将近1成（13%）研究的实验假设没有得到验证，其他研究的实验假设得到了全部（24%）或部分验证（62%）。在实验设计方面，超过8成（85%）实验有清晰地报告研究中的自变量数量和条件数量，不到8成（77%）的实验有清晰地报告被试在实验条件间的分配方式。对于自变量和因变量的报告，分别有不到9成的实验清晰报告了自变量（88%）和因变量（85%）。在因变量数量方面，使用1个因变量的实验占到一半以上（58%），其他实验使用了1个以上的因变量；在因变量测量方面，量表是最常用的测量方式，有将近一半（48%）的研究使用，其他测量方式还有评分、选择和任务完成等，分别占1～2成不等。
在当前公共管理实验研究的设计中，一方面，对于变量之间的因果关系基本有清晰的假定，这符合一般实验研究的规律；基本能够清楚阐述实验设计的操作、解释自变量和因变量的情况；但另一方面，作为实验研究最重要的部分，当前研究在设计相关内容报告上的表现尚有提升的空间，仍有约2成左右的研究没有清晰地报告实验设计、自变量或因变量，这些信息需要读者在文章中仔细辨认才可以获得，不利于研究信息的高效传播以及研究者之间的有效交流。未来的研究可以尽可能清晰的在文中把实验使用的实验设计、自变量和因变量等信息传递给读者。
此外，因变量个数和测量方式都呈多样化，这在一定程度上也反映了公共管理实验研究的多样化特点。未来的研究可以尽可能选择稳定的因变量测量，包括合适的因变量个数和因变量测量方式。稳定的因变量测量是实验研究的信度保证，公共管理实验研究者在选择因变量测量方式时可以考虑两种策略。首先，可以参考以往研究是否有对同一变量的测量情况，因为使用经典测量方式总是最经济可靠的方法。其次，可以同时使用多个因变量和多种测量方式来提高因变量测量的稳定性。
3.实施
在实验程序和材料方面，9成以上（95%）的实验都报告了实验程序，超过6成（66%）的实验提供了实验材料。在实验伦理方面，大部分研究（94%）没有涉及或讨论伦理问题。
当前公共管理实验研究，在实验的可重复性方面略显不足，这主要体现在对实验材料和实验程序的报告缺失上；实验伦理问题普遍涉及，但是讨论的尚少。在未来公共管理实验研究对实验特征的把握方面，除了明确的实验假设外，一方面，需要加强实验研究的可重复性。可重复性是实验研究信效度的重要保证，所以在论文中报告供重复开展实验的材料是实验研究写作的基本规范。与此同时，可以在论文中更为全面地报告实验程序和实验材料，提高实验研究的可重复性。另一方面，要加强对实验伦理问题的重视，伦理问题涉及实验研究的基本行为规则，公共管理研究在把实验方法纳入研究方法体系时也要遵守相应的伦理规范。目前公共管理实验研究对伦理问题的讨论（包括提及通过IRB的研究）还很少，这也可能是由于目前的研究中涉及伦理问题的较少，我们无法对涉及伦理问题但没有讨论和没有涉及伦理问题这两类情况做出区分。但是总体而言，未来公共管理研究者在开展实验研究时，需要保持对伦理问题的敏感性，将其作为开展实验研究的一项重要考虑内容。
（二）结果
在操纵检验方面，大部分公共管理实验研究（76%）没有对其实验操纵进行检验。在分析方法方面，全部的实验都报告了分析方法，其中大概2成（19%）的实验还解释了使用某种方法的原因；其中回归分析和方差分析是实验研究最主要使用的分析方法，其次是协方差分析、多元方差分析和多元协方差分析，其中大概有1成的研究使用了一种以上的分析方法；在数据报告方面，大部分（68%）的实验没有报告效应量，将近一半（47%）的研究使用图作为数据报告方式。
虽然一般实验研究的数据分析特征在当前公共管理实验研究中均有体现，但是也有开展尚不充分的部分。在数据分析方面，未来公共管理实验研究除了正确和合理地使用各类统计方法外，还需要在两个方面下工夫。一方面，要加强数据报告规范，要把一般实验研究已经广泛认同和要求的报告内容（例如效应量）纳入公共管理实验研究规范；对于被一般实验研究广泛认同且具有明显优势的数据报告方式（例如图表），公共管理实验研究可以积极采纳和吸收。另一方面，目前公共管理实验研究进行实验操纵检验的比例还较小，要加强对实验操纵的把控。尽管有些研究的实验操纵可能非常清晰明确（例如性别），不需要操纵检验，我们无法对这类研究做出区分，但是总体而言，公共管理研究者在开展实验研究时要格外重视实验操纵的设计、实施和检验，因为实验操纵是实验研究的根本所在。
五、结论
随着公共管理实验研究的广泛开展，当前公共管理实验研究在实验报告上已经呈现出了一定的特点。这其中既有与传统实验研究规范衔接比较好的方面，例如数据分析方法的报告、实验程序的报告等；也有稍加注意便可以为公共管理实验研究锦上添花的方面，例如对操作检验的关注等；还有在未来实验研究的开展中尚需要改进的方面，例如实验设计及自变量和因变量的清晰报告、效应量的报告、实验材料的呈现等。
当前公共管理研究方法之所以在一些维度上表现欠佳，很大程度上同以下原因有关。首先，公共管理学者使用实验法的历史较短，实验方法的训练还远远不够[35]。其次，公共管理学科并没有建立适合本学科的实验报告准则或标准，研究人员还无法达成共识。本文在对国际公共管理实验研究的方法报告进行分析的基础上提出了一个框架，其中包含若干实验研究报告的规范维度和推荐维度。与国际研究相比，国内公共管理实验研究还处于萌芽阶段，在研究数量和质量上均有待提升，因此我们希望该框架可以帮助研究人员在设计和报告实验研究时能够及时关注这些维度；与此同时，期刊编辑和审稿人在审阅稿件时，也能对实验研究的质量有更加精确的把控。
参考文献
本期目录
更多精彩 敬请关注
本期专稿
特别专栏：中国治理研究杰出学人访谈
专题研讨：实验研究方法应用
李振、孙宇飞丨为何需要助推型政策：理解居民健康意识和行为的不同步
张书维、谭小慧、梁歆佚、朱亚鹏丨“助推”生育政策：信息框架影响生育意愿的调查实验研究
李晓倩、马亮丨公共管理实验研究中的实验报告：现状与评价——以国际期刊论文为例
专题研讨：基层公务员研究
郭晟豪丨基层干部的担当作为：基于角色认同中介的动机与行为关系研究
谭新雨丨基层公务员创新行为的内容与结构：来自中国场景的研究
任敏、李玄丨渐进式整合：基层干部绩效考核的统一化逻辑
论文
王欢明、陈佳璐丨地方政府治理体系对PPP落地率的影响研究——基于中国省级政府的模糊集定性比较分析
杜娟、朱旭峰丨地方领导性别与民众清廉感知：基于中国城市的实证研究
马璐瑶、刘志林丨“运动式治理”背景下保障性住房政策遵从的区域差异研究——基于“十二五”期间城市面板数据的分析
国际前沿
梁珈琪、李俊丨代表性官僚：公共行政理论与研究方法的述评