循证管理的“现场实验室”方法
作者:编辑部
2021-06-30
摘要:如果从正确的角度看待其结果,则该领域的简化实验可能是两全其美的。“现场实验室”的模式可以应用于各种组织问题。

你愿意把重大的商业决策建立在哪一个基础上:是看起来很直观和很时髦的干预措施,还是有真实证据支持的干预措施?如果你选择后者,你就可以理解用于确定某物是否真正导致其他事物的实验技术的兴起。如随机对照试验(RCT)或A/B测试。从理论上讲,基于随机化的统计方法被认为是估计实际影响的黄金标准,这都是为了弄清楚当一项干预措施被采用时发生的情况与如果不采用它将会发生的情况之间的差异。

然而,在采用RCT方面仍有一个重要的症结。这些试验的目的是为了在特定情况下引起严格和明确的推论,但它们的执行往往是费时和昂贵的,而且鉴于其背后问题的复杂性,答案往往不完整。通常情况下,复杂性的程度在实验结束后才会显现出来,因为领导者要努力把通过RCT揭示的细微差别,有时甚至是相互矛盾的结果转化为可操作的见解。从现场收集到的嘈杂数据只会使这个问题变得更糟。鉴于RCT所涉及的时间和费用,收到模糊的结果确实令人失望。

那么,有什么替代方法呢?管理和社会科学中最常见的方法是依靠人工实验室环境,在一个受保护的环境中进行小规模但高度可控的实验。实验室实验可能在真实性方面有所欠缺,但它们在具体性方面得到了弥补。它们是测试部分理论和有针对性的假设的理想选择,价格低廉,速度较快。另一方面,其有限的范围和人为的背景意味着它们通常只能提供关于干预措施预期价值的间接证据。这就像在试图让一架真正的飞机起飞时依靠看似合理的纸笔草图。

在许多情况下,在全面的RCT和非常人为的基于实验室的研究之间有一个中间地带:基于证据的管理,将类似于实验室的实验方法带到现场,作为一个更开放的探索过程的一部分。当有重大问题和模糊的影响时,在现场进行的有精细参数的实验可以产生结果,作为漆黑中的光点,虽然不足以自信地向前迈进,但足以让人接近下一个有启发性的信息点。把它想象成测试模型飞机的风洞,不是真实的东西,但比仅仅是纸上的草图要好,而且比真实的东西要便宜得多(失败)。

 

设计思维教学对中学生的影响

设计思维培训是否能提高创造力?来自中学生的实地实验的结果,描述了我们与Agastya国际基金会(一个位于班加罗尔的非政府组织)合作进行的“实地实验室”研究。Agastya专注于科学教育项目,其主要目标之一是教授创造性解决问题的方法。该非政府组织的领导团队正在考虑在Agastya的课程中加入设计思维,作为对其科学教育的补充,但在没有至少一些证据表明它是否有效以及如何有效的情况下,他们犹豫不决。

我们花了几个月的时间来探索全面的RCT是否有意义,但是我们的试验性研究表明,在特定的环境下,它的成本太高,而且不切实际。我们还考虑了传统的“实验室”方法,包括操纵潜在的心理机制和从大学或在线平台(如Mechanical Turk)招募典型的研究参与者。然而,这些方法似乎与Agastya的背景相去甚远。最终,我们想出了一个混合方法:在一个相当受控的环境中,在短时间内进行类似实验室的研究,但使用一套有限的设计思维培训材料,并从参加Agastya项目的实际学生中招募参与者。

我们将我们的实验整合到Agastya在学校假期的一个星期内进行的研讨会中。这项研究仍将在现场进行,但需要四天时间,而不是像全面的RCT那样需要几周甚至几个月。学生们从附近的村庄来到Agastya位于库帕姆(班加罗尔附近)的校园,在那里他们被随机分成三个“治疗组”和一个“对照组”,每组50-75人。

治疗组完成了三个设计思考练习。这些练习是从另一个非政府组织Design for Change开发的关于设计思维的广泛工作手册中选出的(由Agastya讲师和我们领域的同事组成的小组提供意见)。目的是提取“有效成分”——手册中最有可能影响创造力和信心等结果的部分。对照组接受了Agastya的标准体验式科学指导。在四天结束时,所有四个小组都接受了创造力和信心的纸笔测试。

对实验数据的分析表明,设计思维的学生比对照组想出了更多的创造性想法,尽管每个想法的平均原创性要低一些。有趣的是,设计思维也似乎比常规的Agastya课程更能提高学生的信心——尤其是对女性学习者而言。

 

不是答案,而是提出更好的问题

从一个角度看,我们的“实地实验室”实验结果是相当显著的。在四天的时间里,我们以适度的样本量和相对较弱的干预措施,看到了学生产生的大量创造性产出的明显改善。如果规模更大、持续时间更长,我们可能会看到更令人印象深刻的结果,尽管唯一能确定的方法是进行更广泛的跟踪研究。同样地,我们可以假设,如果在课堂上有更多的时间,设计思维对原创性的抑制作用可能会被抵消,我们也会在创造力的这个方面看到更好的结果。

对我们的方法持反对意见的人也会在这里找到很多素材。批评者会认为,从一个持续了四天的一次性练习中得出宏大的结论是草率的,并且用非常具体的方法来衡量结果,即使是来自学术文献的结果也不得不承认是远远不够完美。此外,我们还不清楚我们观察到的效果是否会随着时间的推移而消失,而不是加强,也不清楚设计思维培训在其他讲师的手中是否也能发挥同样的作用。

我们自己对我们的研究没有提出任何深远的主张。Agastya是否应该整合设计思维培训,更不用说用它来取代目前的部分课程了,这个问题不能仅仅通过我们的四天试验来回答。然而,我们的“实地实验室”实验并不是为了让Agastya的问题得到解决而设计的,而是更谦虚地推进和丰富围绕它的整体对话。如果运气好的话,它提出了设计思维培训如何能够提供帮助,同时指出了其潜在的陷阱,这些信息可以作为决策的磨料使用。毫无疑问,还需要进一步的探索,但至少探索的方向更明确了。管理决策现在有了更多的信息,因此不那么像在黑暗中投掷飞镖了。

我们相信“现场实验室”的模式可以应用于各种组织问题。不同敏捷配置的团队在同一个小型项目中工作,如果某些配置一直比其他配置表现得更好,这就表明在某些情况下,哪些类型的项目可以用敏捷团队来处理好。

最终,混合实验室/现场实验至少在某些情况下可以代表两个世界的最佳状态。在以证据为基础的管理思维下,这种方法可能比纯粹的实验室方法更好,可以得出符合当今组织问题复杂性的解决方案。但是,任何一项研究的结果都需要从正确的角度进行解释,而不是把它们本身当作结论性的东西。在一天结束的时候,这又是一个基于真实数据而不是仅仅依靠直觉或炒作来做决定的工具。


热门文章