肯·法鲁（Ken Faro）和埃莉·奥哈娜（Elie Ohana）
大数据可以支持明智的市场研究，但前提是研究人员必须具备了解他们要衡量的内容以及衡量方式的基础。
当今的企业将市场数据视为商品。 易于获得的有关消费者活动和偏好的信息，使市场研究人员可以开发大型数据集以挖掘消费者的见解。 确实，从最近的市场研究行业出版物中可以看到，该领域的讨论主要集中在数据分析上。
但是，通常情况下，对客户真正关心的问题的洞察力会受到所收集数据质量的影响。 一些市场研究人员将数据质量的概念与样本数量混为一谈，认为可靠性，有效性和“良好测量”的其他特征完全来自收集的数据量。 当然不是这样。
如果忽略了市场研究的第一步也是最重要的一步，即指标的设计，那么对数据收集和分析的高度重视就没有任何意义。 在心理测量学传统中，强调了调查的发展和特定调查问题的构建是研究过程中最重要的一步。 不幸的是，如今大多数市场研究人员都在缩短这一步骤。
无法评估作为业务决策基础的措施会带来巨大的风险。 与根本没有数据的决策相比，基于不良衡量指标的数据驱动决策可能会变得更加糟糕。
为了帮助组织更认真地考虑他们用于收集有关消费者的信息的措施，我们概述了许多市场研究人员所持的四种常见误解，并提供了一些建议，以帮助他们摆脱这些错误观念。
从历史上看，当市场研究人员想要衡量一种结构时，例如消费者对某个特定品牌的感受（例如，“品牌热爱”），他们会要求受访者对直接描述该结构的问题进行评分，例如“您多少？喜欢这个品牌吗？”
这种“描述性测量”存在很多问题。 例如，许多结构过于抽象，以至于普通消费者无法用具体的术语进行报告。 想一想当您被问到您对Tide洗衣粉有多少品牌爱时，您会如何回答。 大多数人无法获得比报告诸如“很多”或“有点”之类的一般近似值更具体的信息。
研究人员已开始转向以更好的方式使用自报告数据的方法。 当今的最佳做法不是问“您对这个品牌有多爱？”，而是发表声明，说服消费者如果喜欢该品牌， 则可以认可。 例如，只有在受访者确实喜欢该品牌的情况下，“我会开车20英里才能购买[品牌]”等“不同意/同意”的陈述才能得到完全认可。 我们从受访者表示会从事的行为中推导出构建的水平。
“通过推导测量”方法要求对所测量的内容有深刻的概念理解。 但是，许多市场研究人员仍然用旧的方式提问，描述要衡量的内容（“我喜欢我刚刚看到的广告”），而不是描述派生的行为（“我向朋友展示广告”）。
如果市场研究人员继续写调查，而不是通过其衍生行为公开衡量结构，那么数据很可能会受到不确定性和误差的影响，这些误差和误差很容易避免。 他们需要更多地思考他们真正想知道的东西，仔细考虑什么行为应该是这种构造的结果，并从那里制定措施。
市场调研不能免除企业的财务压力。 当客户要求进行简短的调查以涵盖尽可能多的主题时，成本意识就会渗入我们的工作中-这通常会导致每个主题都有一个问题。 例如，“您对自己的体验有多满意？”可能是调查中评估“客户体验”的唯一问题。
这种思维有很多挑战。 首先，单个问题可能不是对“客户体验”的唯一度量，而是对其他结构（如“可接受性”）的度量。在心理计量学领域，“交叉加载”的项目并不罕见，这意味着它们可以衡量不止一件事情。 其次，假设一个问题确实可以衡量我们想要衡量的内容，那么它很少会衡量构造的各个方面。 以客户体验为例，许多方面（包括价格，促销，与员工的互动以及对品牌的认知）共同影响着个人对其体验的全球印象。 仅问一个问题就无法评估这多个方面，而忽略了人们印象的变化。
同样，将度量限制为仅一个问题并不总是允许组织度量受访者印象的变化，因为这会强制对受访者进行度量上限。 设想一种情况，组织希望通过衡量广告对品牌印象的影响来测试新广告。 如果已经在广告曝光之前以7分制给该品牌打出7分，那么已经热爱该品牌的受访者可能已经“最大限度地”使用了品牌印象。 即使他们展示的是非常好的广告，他们也无法在后期测试中提高得分-只能保持在7分。这种衡量标准的限制与现实的运作方式不符：品牌往往不存在通过产生共鸣的广告和品牌行动，可以提高忠实者对品牌的热情。
有多个问题可以衡量同一构造的不同方面，这是确保数据驱动决策实际上基于所关注构造的所有方面的故障预防方法。 这是一种捕获度量可以提供的所有信息的方法。
即使市场研究人员听取了针对所测量的每个结构使用多个问题的建议，他们也必须记住，不同的问题会提供不同的信息。
考虑一下在美国广泛用于大学录取的标准化考试。 SAT和ACT被设计为包括大多数应试者都能正确回答的简单项目和很少能正确回答的困难项目。 市场研究问题的工作方式与此类似。 无论是否喜欢某个品牌，几乎任何人都会采取一些行为，例如在社交媒体上阅读该品牌的一些帖子。 只有真正热爱品牌的人才会有其他行为，例如将其可支配收入的很大一部分花在该品牌上，或者花相当长的一段距离来购买它。
这一点可以在视觉上说明。 （请参见“易于理解且难以理解的陈述提供了全貌。”）例如，假定“品牌爱”的构造（也称为潜在特征 ）范围为-4到4。低端和喜欢它的人在高端。 中间的受访者为0，表示赞同“我会读社交媒体上[品牌]帖子”的“简单”陈述的可能性为51％，而赞同“很难理解”的“困难”陈述的可能性为51％。驾车20英里即可购买[品牌]。要想表达更困难的说法，就需要更高的品牌爱度。 在此示例中，潜在得分较高的被调查者1认可容易项目的概率为75％，而认可困难项目的概率为90％。
营销人员需要选择一系列困难的问题和陈述，以确保可以从所有受访者那里获取有用的信息。
市场研究人员在进行研究时最重要的工作之一就是对他们所测量的内容进行解释。
实现此目的的一种方法是使用规范，当研究人员在多个个人或群体上收集了相同的度量值时，便会创建这些规范。 通过了解他人的评分方式，研究人员可以了解一个人相对于其他人的下落。 另一种方法是标准参考缩放。 例如，对驾驶执照的测试是参照标准的，其中“熟练程度”是使用最低分来确定的（例如，必须通过正确答案的85％才能通过）。 而不是考虑申请人如何相对于其他人评分，重点在于根据州机构预先确定的分数来确定驾驶员是否熟练。
但是，虽然规范和准则参考方法都有助于相对于他人（通过准则）或相对于某些其他外部准则（通过准则参考）来解释分数，但它们却无助于解释个人如何相对于所衡量的潜在特征的得分-在示例“容易且难以理解的陈述提供了全貌”中，这就是一个人对品牌的不满意或喜爱程度，从-4到4.将个人如何在量度上得分与他们的潜在特征水平进行配对是市场研究人员经常跳过的步骤。
假设您正在分析有关“品牌忠诚度”的调查结果，并查看来自五个问题的调查中的数据，其中每个问题均使用利克特（Likert）七分制评分。 如果受访者给这些问题的平均分为5分（或总和为25分），您将如何解释？
事实是，如果不进行扩展，您可能根本不知道什么是高分。 某些人可能会认为这是一个差的分数，因为它远未达到他们的最高分数（平均分数为7，总分数为35）。但是，仅因为量表的最大值为35，这并不意味着受访者拥有较高品牌忠诚度的人会在每个问题中说7。 在这个规模上，满分25分可能是高分。
无论他们要衡量什么，市场研究人员都必须认识到扩展是必不可少的步骤。 尽管大多数市场研究人员使用规范，但使用统计模型（例如项目响应理论）来建立度量的响应与潜在特征水平之间的对应关系变得越来越重要。
测量是一件很难的事。 我们与客户及其供应商的合作越多，就越看不出对如何创建度量的重视。 尽管大数据为我们推广结果提供了更安全的基础，但它不能替代精心设计的经过信度和效度测试的度量。
通过仔细考虑要衡量的内容并采用最佳的心理测量方法，研究人员和管理人员可以做出以数据为依据的决策，立足于最坚实的基础。
要查看有关市场研究中的计量的更多文章，请参见Ken Faro的博客，网址为：www.kennethrfaro.com/blog
MIT Sloan管理评论于2018年10月4日发布：
