心理学提醒市场研究:第1部分–可疑的做法

肯·法鲁(Ken Faro)和埃莉·奥哈娜(Elie Ohana)

这是一个由两部分组成的文章的第一部分,探讨了在学术心理学中观察到的许多不当行为案例。

在2000年代初期,心理学领域的科学不端行为案件数量有所增加。 实际上,在2009年有关科学不当行为的论文中,有34%的研究人员承认以某种形式的不当行为参加了宴会。 当被问及同事​​关于可疑的研究实践时,举报的不当行为数量跃升至72%。 伪造研究和数据的丑陋问题一直并且继续是对科学有效性的真正威胁。

尽管这些欺诈案例主要是在学术心理学中发现的,但是我们这些在应用环境中实践的案例也面临风险。 在这个由两部分组成的文章的第一部分中,我们将研究许多观察到的不当行为案例。 这些例子使我们所有人回想起MR,我们所做的工作应保持高标准。

在2000年代初期,学术心理学中发现的不当行为属于以下三类之一:

  1. 做研究和整理数据 。 在此版本的科学不当行为中,研究人员计划并执行研究。 行为不端是在研究人员开始“整理”数据时发生的-这意味着他们将数据整形和成型为某种形式,使其更有可能呈现研究人员想要的结果。 很多时候,这是在研究的数据清理阶段进行的。 虽然需要进行某些数据清理才能满足某些统计假设,但也可以通过删除与研究人员正在寻找的模式相反的案例来滥用此阶段。 尽管实际上已经进行了研究,并且数据可能是真实的,但统计和理论假设并未经过检验,而是被选择用于这一事实,这使这成为科学不端行为的公然案例。
  2. 做研究但添加虚假数据 。 在此版本的科学不当行为中,实际上已经完成了研究,并且数据也是真实的-大多数情况下。 在这种情况下,研究人员可能会收集数据,正确清理数据,然后检验其假设,这些假设可能趋于显着(或具有较低的p值,但仍不显着)。 为了将结果从趋势显着推到实际显着,研究人员可能会添加一些假的受访者数据。
  3. 不进行研究并组成所有数据。 最后一个科学不当行为,也是最坏的情况,是研究人员不进行研究且没有任何真实数据的情况。 取而代之的是,它们构造统计检验,p值以及其他所有内容。

表1列出了过去18年中一些较大的科学不当行为案例。 请注意,由于科学上的不当行为,必须撤回多少篇论文。

那么,市场研究人员和客户如何从心理学中观察到的可疑实践中学习呢? 首先,客户必须问自己是否认为自己的供应商已经制定了防止科学不端行为的程序。 毕竟,想象一下根据这种违法行为产生的数据来做出业务决策。 我们想认为没有任何一家供应商会比我们在心理学中看到的一些例子能走得更远-组成数据,篡改数据或按摩数据。 但是,MR中存在一些可疑的做法,这些做法虽然规模较小,但仍会得出错误的结论。 我们在这里概述了其中的两个,希望客户和供应商能更好地了解不良科学的实践。

无心数据挖掘

无心数据挖掘(通常称为数据挖掘)正在研究没有理论,没有假设的数据,而这只是探索的目的。 这与科学过程本身相反。 我们被教导要复习文献,从文献中识别假设,并在设计合理的研究中对其进行检验,以证伪假设。 但事实是,那里并不总是有文献。 对于新领域或新问题,必须是第一个探索变量之间可能关系的人。 因此,尽管探索性研究和数据挖掘没有内在的错误,但如果研究人员不了解两个方法问题,则会出现一些问题:

  1. P-hacking:假设我们要测试男性和女性在购买新车方面的差异。 许多研究人员和分析人员被告知,对显着差异的测试可以归结为一个值-p值。 如果测试得出的p值等于或小于.05,则存在显着差异。 不幸的是,对p值的拇指向上/向下滑动方法说明了对重要性测试的一种肤浅理解,这可能会给那些忙于探索其数据集深度的人们带来麻烦。 p值是在零假设为真的假设下,获得给定的测试统计量与从数据中获得的统计量相似或更极端的概率。 因此,举个例子,p值为.05的确意味着给定的测试统计数据发生的可能性为5%或更少。 但这只是一个可能性。 在某个时候(在这种情况下,每100个测试中就有5个),给定的测试统计信息可能仅仅是由于偶然而发生的。 为什么这对于盲目的数据挖掘来说是一个问题? 如果在一天的工作中,您运行500个假设检验来探索您的数据集,那么其中25个检验可能是假阳性。 那是很大的数目。 没有人愿意将他们的业务决策基于错误的积极结果。
  2. 非复制:在我们的日常研究中很可能会出现误报,因此人们希望研究人员在得出结论是真实的之前就复制他们的发现。 但是,直到最近几年,学者们才开始关注研究结果的可复制性。 例如,2015年,开放科学合作社(Open Science Collaboration)尝试进行了心理学研究的首次大规模再现性研究。 该小组使用与原始作者相似的研究设计,试图评估100个心理实验和相关研究的可重复性。 作者报告了几种评估可复制性的方法,包括第二项研究是否也具有统计学意义。 作者发现,虽然97%的原始研究报告了显着的结果,但只有36%的复制有显着的结果。 简而言之,找到具有统计意义的结果并不意味着该结果存在。 未能将复制整合到研究过程中,使我们有接受不正确结果的风险。

有统计意义,但没有实际意义

对某些人来说,如果有统计上显着的结果,那么它被认为既重要又真实。 但是,并非所有重要的事情实际上都是重要的。 虽然实际重要性没有赋予相同的权重,但实际上它可能比统计意义更重要。 通过足够大的样本量和足够的统计能力,可以轻松发现最小偏差中的显着差异。 在大数据的世界中,我们建议密切注意结果是否具有实际意义。

要了解实际意义,请考虑广告对购买意愿的影响。 广告的效果可能很小,将购买意向提高了可忽略不计。 或者在另一端,它可能会产生很大的影响,可能将受访者从一个或“我根本不会考虑购买此产品”转移到七个或“我肯定会考虑购买此产品”。研究人员可以通过使用效果大小的度量来量化这一效果,这是一种具有实际意义的常用度量。

有许多文章提到了其他较小版本的科学不端行为的列表。 例如,莱斯利·约翰(Leslie K. John),乔治·洛文斯坦(George Loewenstein)和德拉赞·普雷莱克(Drazen Prelec)列举了心理学家协会发布的研究人员应避免的其他做法的清单。 这些包括:

  • 没有报告一项研究中的所有依赖措施;
  • 在查看是否有明显结果后决定是否收集更多数据;
  • 没有报告研究设计的各个方面,这些方面可能会揭示发现的有效性或可靠性;
  • 停止数据收集,因为您找到了想要的结果;
  • 将p值四舍五入至.05(例如,将.054舍入为.05);
  • 仅报告具有重大成果的研究;
  • 仅在查看数据对发现意义的影响之后,才决定是否排除数据;
  • 报告出乎意料的发现,就像您一直在预测它们一样;
  • 索赔结果不受人口(或其他)变量的影响,而无需实际测试索赔; 和
  • 伪造数据。

在第二部分中,我们将提供一套有关MR设计,文档编制,分析和报告的最佳实践。

要查看有关市场研究最佳实践的更多文章,请参见Ken Ken的博客,网址为:www.kennethrfaro.com/blog

由Quirks Media于2018年10月22日发布:

心理提醒MR:第1部分:可疑的做法| 文章| Quirks.com

这是一个由两部分组成的文章的第一部分,探讨了在学术心理学中观察到的许多不当行为案例。

www.quirks.com