RM:在研究生院里,我在一个社会认知实验室工作,主要研究有助于印象形成的认知过程。 毕业后,我在北伊利诺伊大学的家庭暴力与性侵犯研究中心工作,与国防部的家庭倡导计划签订了合同。 从那以后我一直在中心。 作为退伍军人,我内心对军人家庭情有独钟。 因此,有机会与“家庭倡导计划”一起工作非常令人满足。
在我的工作中,自然会发生的事情是,我开始阅读更多有关导致侵略和家庭暴力的社会认知因素的信息。 我参与了一个研究项目。 然后另一个。 现在,我确定是一名侵略性研究人员。
CC:实际上,我决定我想在初中时成为一名“研究心理学家”,同时与一位出色的老师(俄亥俄州西切斯特的Latessa夫人)一起上心理课。 作为本科生,研究生和新教员,我的早期研究几乎完全集中在小组中相互依存的决策上。 对我来说,一个重大的转折几乎将我的研究重点几乎全部转向了元科学和大规模合作,因此我被邀请加入Many Labs3。我非常享受这一经验,因此我签署了《可再生性项目:心理学》,以及多个已注册的复制报告。 现在,我几乎将所有的学术时间都花在了诸如此类的多站点计划上。
您共同发起了一个研究Nexus,专注于 众包心理研究 。 您是怎么想到这个话题的? 您希望该Nexus解决哪些未解决的问题或想法?
研究人员一直在寻找更好的工具来回答他们的问题并检验他们的假设。 与许多研究人员一样,当我们了解了多站点协作项目(例如ManyLabs项目,注册复制报告等)时,我们认为“太好了!”这些项目有大量样本,您可以直接评估实验室之间的差异,由于执行这些研究的后勤工作,事后隐藏研究细节等的机会较少。这类项目的方法产生了非常有益的结果,并解决了传统的单一研究者,单一实验室方法的诸多缺点研究。
克里斯和我几年前在SIPS碰面时,我们意识到我们每个人都对众包研究感兴趣,并且自那时以来一直在合作。 我们经常进行的对话之一是,我们感到许多人将这些多站点协作项目视为其他人所做的事情。 人们可能不会将这类项目视为可使用的工具。 我们一直在努力使更多的研究人员能够实现这类项目。
促使研究人员着手进行这些项目的一种好方法是确保他们有愿意接受他们研究的出版物。 我们向Collabra提出了自己的想法:心理学可能是Nexus 因为我们知道他们支持这些项目。 我们很高兴他们同意支持我们的Nexus 关于众包研究的建议。
这款Nexus的有趣之处之一 文章的共同主题是方法(即多站点协作),而不是研究主题本身。
这款Nexus的有趣之处之一 文章的共同主题是方法(即多站点协作),而不是研究主题本身。 因此,我们不确定人们会建议研究哪些具体的研究问题。 但是我们相信我们的领域将从这些项目中学到很多东西。
您如何看待众包成功地用于研究项目? 您认为研究众包方法的最大挑战是什么?
众包研究的典型用途是让多个研究实验室就数据收集程序达成共识,独立收集数据,然后将这些数据汇总在一起进行荟萃分析。 这种方法有几个好处。 使用相同的方法,您可以获得几种效果评估,这意味着您在荟萃分析中实际上是将苹果与苹果进行了比较。 您可以估计每个实验室的结果差异的程度。 最后,这是一个巨大的好处,对于哪种效应有助于最终的荟萃分析没有偏见。 在理想的世界中,所有这些事情在出版的文献中都是可能的。 在现实世界中,您无法使用相同的方法进行大量研究,因为研究人员通常会扩展以前的研究或对方法进行自己的修改,并且您实际上不可能获得所有可用的证据。 研究人员选择他们将撰写并提交发表的研究。 没有显示效果的研究通常在同行评审过程中表现不佳。 可以说,这些多站点协作是进行荟萃分析的理想方法。
可以说,这些多站点协作是进行荟萃分析的理想方法。
我们将在最近讨论的众包研究中提及三个主要的“挑战”。 首先,心理学家习惯于争辩说我们的样本太小而无法检测到我们感兴趣的影响,这可能是对我们资源的低效使用。 我们认为,在考虑样本数量时,这可能会导致“越多越好”的启发。 但是,在这些众包研究项目中,我们现在可以获得足够的合作者,实际上,我们可以超出合理回答研究问题所需的参与者数量,这也可能是对资源的低效利用。 我们(作为一个社区)需要解决的挑战是如何最好地校准我们的研究资源,以最好地回答我们的问题。 成功的一组研究可以回答一个问题,而无需使用太多或太多的参与者。 随着这些项目的完成,我们希望对该主题进行更多的讨论。
其次,当您协调不同位置的不同研究人员运营的不同实验室时,始终会担心实验室之间的保真度。 迄今为止,大多数已经完成的项目都通过选择非常容易运输的研究来解决这一问题,例如基于计算机的任务或需要进行很少培训的调查。 本质上,研究人员对于这些众包研究中提出的问题类型非常保守。 但是,实验室之间的保真度对于允许您推断结果的推断至关重要,如果研究人员放弃了这些易于使用的方法,则这一点尤其重要。
最后的挑战是我们如何适当激励研究人员为这些项目做出贡献。 一方面,成为众多实验室中的一个实验室可以对科学做出巨大贡献。 但是,另一方面,个别研究人员需要证明自己在研究设计,撰写手稿,分析数据等方面的技能,以促进其职业发展,但是当他们成为实验室中众多实验室中的一个时,可能并不需要太多使用这些技能。多站点协作。 个人需要在最大程度地提高对科学的贡献并确保他们在这些研究领域中展示自己的技能时取得平衡。 而且,要想达到恰当的平衡并不总是那么容易。 例如,招聘委员会将如何看待您是您没有设计,分析或撰写的项目的第20位作者,即使该项目比您可能已经完成的另一传统手稿具有更大的科学贡献? 这是一个很难回答的问题。
您和克里斯托弗 在《 Collabra:心理学》中 发表了 一篇 有关该Nexus的目标和范围的 观点文章 ,其中包括“ Collections2”的主题概念以及可能被纳入的Collections2的可能类型。 您能告诉我们更多有关此的信息吗?
大致来说,这个Nexus 将开放给涉及数据收集的项目,这些数据收集由独立的研究团队在多个地点同时进行,并组合在一起构成一个整体分析。 一个示例是ManyLabs项目或已注册的复制报告。
这些标准中有许多项目变体。 连结 对先前发表的效应和新颖假设的重复研究开放。 我们愿意接受每个实验室使用相同的变量可操作化,不同的变量可操作化或某种组合的研究。 我们还将对测试多种不同效果但根据共同的关注人群或共同的兴趣构建联系在一起的项目开放。
我们最兴奋的Nexus功能是我们将提供“注册报告”提交格式。 这意味着研究人员可以提交研究建议书,该研究建议书将经过同行评审。
我们最兴奋的Nexus功能是我们将提供“注册报告”提交格式。 这意味着研究人员可以提交研究建议书,该研究建议书将经过同行评审。 这项建议可以接受原则上的接受,这意味着只要项目按计划执行并且对结果进行适当的解释,该研究就可以发表。 可以在确定所有贡献实验室之前提交提案。 如果作者愿意,Chris和我可以利用现有的实验室网络,这些网络已对这些项目表示了兴趣,以帮助找到有贡献的实验室。 我们对“已注册报告”格式感到兴奋,因为您可以让专家在投入大量资源进行数据收集之前先仔细研究一下方法和分析计划,并且“原则接受”可能是一种很好的招聘工具,可用来识别合作者。
如果您作为研究人员想提出一个多站点协作项目,这意味着什么? 您可以将提案作为注册报告提交。 如果您的建议被接受,我们可以帮助您确定有贡献的实验室。 然后,您可以专注于成功执行项目,知道该研究是否已发布不取决于所获得的结果。
对于那些有兴趣向Nexus提交研究成果的人,您在文章提交中寻找什么?
我们基本上在寻找与提交发表的任何文章相同的东西。 即,您的研究问题有意义吗? 您提出的方法是否适合回答您的研究问题? 在此Nexus中,建议的方法必须涉及某种类型的多站点协作。
提交内容有两个主要特征,我们将对其进行重大考虑。 首先,由于这些方法通常需要大量资源,因此建议研究人员证明其研究问题需要这些资源的理由。 这可能意味着我们将回避过于投机的研究或提议研究公认的效应的研究。 第二个特点是可行性。 这些项目涉及许多活动部件。 我们希望看到研究人员实际上有一个计划来成功执行他们提出的项目。 我们希望研究人员要有野心,但要现实。
请访问 collabra.org , 将您的论文提交给我们开放的 Research Nexus ,或者与我们的一位 资深编辑 联系, 以提出新的Research Nexus。