【学术视点】Examining the Generalizability of Research Findings from Archival Data

Examining the Generalizability of Research Findings from Archival Data

期  刊：PNAS July 19, 2022 

作  者：Andrew Delios, Elena Clemente, Tao Wu, Hongbin Tan, Eric Uhlmann, etc.

    与自然科学不同，社会科学通常基于观察数据、二手档案数据等非实验环境所产生的研究数据，因而很难重复前人的研究结果。这使得社会科学的研究往往面对更加尖锐的质疑和批评，导致了所谓的可复现危机（Replication crisis）。要正确地评估这一危机，我们首先需要回答两个问题：a）在使用同一数据来源的情况下，我们能在多大程度上复现已有研究的实证结果？b）现有的研究结果在多大程度上可适用于新的情境? 为了解答上述问题，该研究团队历时6年，在全球各著名高校、科研机构召集了超过100名研究人员，对战略管理、国际商务领域内使用同一个二手数据库发表在SMJ、JIBS等国际顶级期刊的29篇论文的关键结果重新进行了实证分析。不同于以往的复制性研究是使用自行收集的一手数据或是针对单篇论文的复制，该研究首次对实证结果可复现性和普适性展开了系统性分析。 

    一般来讲，我们可以根据复制性分析与原有研究在实证设计各个维度上的相似度来刻画一个连续性区间（如假设、自变量和因变量概念、自变量和因变量测度、总体与样本的特征等，表1）。在区间最左边，最直接的复制意味着除了一些不可控制的因素如文化、历史和语言等，研究者在实证设计的各个维度上与原文保持高度一致；而在区间最右边，最间接的复制意味着研究者仅仅在核心的自变量和因变量概念上与原文保持一致。  

表1 复制性研究的连续性分类 

LeBel, E. P., Vanpaemel, W., McCarthy, R., & Earp, B., & Elson, M. (2017). A Unified Framework to Quantify the Trustworthiness of Empirical Research. Manuscript under review @ Advances in Methods and Practices in Psychological Science 

    更加简洁地，我们可以通过操控复制性研究与原有研究在三大方面（研究方法、数据样本和分析方法）上的差异来考察原有研究结果的四个特性（表2）：可复现性（Reproducibility）、稳健性（Robustness）、可复制性（Replicability）和普适性（Generalizability）。该论文重点研究可复现性和普适性，以及两者之间的联系：a）在情境相同的情况下，我们能多大程度复现以往论文的实证结果；b）以往论文的实证结果多大程度上可适用于不同的时间和空间情境。 

表2 复制性研究的分类

      研究结果显示，在相同的情境下，45%的论文可以直接复现与原文一致的实证结果；55%的论文可以在不同的时间样本中获得一致性结果，而40% 的论文可以在不同的国家、地区样本中获得一致性结果。在可直接复现的论文中，84% 可以在不同的时间样本中获得一致的实证结果，而57% 可以在不同的地区、国家样本中获得一致性结果。这一结果有助于得出三点重要启示：1）社会科学与自然科学一样，其研究结果具有较高的可复现性；2）社会科学实证研究的结论并不会局限于特定的时空情境，而是具有普适性的；3）可复现性是普适性最好的预测指标，可复现性强的研究往往具有更好的普适性。另外，在该团队针对100多名学者的预测性问卷调查中，发现大部分相关领域的学者能够成功地预测出哪些实证研究结论是具有普适性的。  

    檀宏斌博士在该论文的研究设计、项目执行以及数据分析等多个方面做出了重要贡献。该国际合作项目得到我院管理高等研究院的大力支持，同时也得到了国家自然科学基金重点国际（地区）合作项目、青年项目的资助（71810107002、72002158）。