我刚刚提交了我计划作为博士课程一部分进行的第一个实验的预注册。 我会发布它的链接，但我决定在允许的最长时间内（4年内）或直到最终论文发表之前对它进行禁运。
作为一个不停地阅读Twitter的人，过去一年左右的时间里，我读了很多关于预注册的好处的知识，这就是为什么我最终决定尝试一下。 但是从学生的角度看，我对过程的了解不多，所以我决定写一份快速的思考清单，对其他人考虑是否走这条路可能有用。
我将此博客文章标记为“第一部分”，因为我打算在数据收集后再次进行反思，以查看我的想法和感受是否发生了变化。
首先，如果您已经熟悉这些问题，可能需要跳过一些背景知识：大约10年前，许多人开始意识到心理学的许多发现是不可复制的。 由于种种原因，我不会详细讨论这些细节，但是困扰心理学（以及许多其他科学）的一个问题是分析管道中经常存在的“研究者自由度”。 简而言之，许多研究人员（包括我自己）经常依靠零假设假设显着性检验。 我不会介绍这种方法的优缺点（尽管我希望在我的整个博士学位期间都可以考虑到这一点），但是它的基本思想是运行测试以确定观察概率如果您假设的效果不真实，那么您的结果。 按照惯例，方法是使用.05阈值-如果在没有实际效果的情况下出现结果的可能性小于5％，则可以认为您的发现“显着”。
这种方法的主要问题之一是研究人员通常具有模糊的假设，可以用多种方法对其进行检验。 提出20个不同的测试并获得相同的一般想法并不是很困难。 例如，我可能想看看吃饼干对个人记忆单词列表的能力是否有影响。 我可能会在Cookie组中让20名参与者参加，而在西兰花对照组中让20名参与者参加。 我进行了t检验，发现各组记忆中的参与者单词数之间没有显着差异。 但是后来我开始思考，等一下，cookie组中的三个人每个只吃了一半cookie！ 没什么！ 那不是我所预料的！ 让我们在没有数据的情况下重新运行测试。 但是仍然没有效果。 在考虑这一点时，我意识到我的单词列表包含两个单词，这些单词比其他单词更长，可能更难于学习。 那可能会掩盖效果！ 因此，我从分析中删除了这些单词，然后重试。 然后我的假设效果就出现了！
这个轶事旨在说明的是，我对数据进行的测试越多，获得统计上有意义的结果的机会就越大。 这意味着即使我当时所做的一切都觉得有些合理，我也可以从根本上窃取一条有意义但无意义的发现的方式 。 最后一部分至关重要。 我完全相信自己不会进行欺诈和构成数据。 但是我担心，我可能会非常有才华，使自己以为用100种不同方式分析我的数据是合理的，特别是因为通常没有一种分析数据集的最佳方法。
的确如此，以多种不同方式分析同一组数据有合理的理由。 但是，从您开始查看数据的那一刻起，就变得越来越难弄清是否要证明一种分析方法是正确的，因为您确实认为这是查看事物的最佳方法，或者是因为想要令人陶醉的原因而证明自己是一种合理的分析方法发现很棒的东西的兴奋。
这就是进行预注册的地方。您在收集数据之前先考虑分析数据的最佳方法，然后在网络上发布带有时间戳的计划，这样您就可以感受到Internet上每个人的压力–以及精心设计的，过去对自己乐观的看法-坚持下去。 提前写出您的计划将使您更难以欺骗自己，以为p-hacking是发掘有意义的事实的合法途径。 因此，出于这个目标，我花了过去的几周时间为我的第一项研究填写预注册信息。
这是我的工作和所学到的知识：
- 我向我的顾问咨询了有关预注册研究的想法。 我非常幸运，因为我有一位顾问非常乐于接受预注册的想法，并且乐于讨论出现的所有后勤和科学问题，但对任何一种方法都不是教条。 她以前从未预先注册过研究，因此经历该过程对我们俩都是（现在仍然是）学习经历-从很多方面来看，我们俩人都没有做过这件事，这使我们更倾向于认真考虑我们正在做的一切，并扩大了体验的价值。 对于那些他们的导师不想经历整个过程的学生，我没有很好的建议（对不起）。 尽管我目前认为预先注册是进行科学的正确方法，但我仍然对此感到焦虑，这可能会阻碍我做出很酷的发现的能力，而且我无法想象必须同时面对这种焦虑和恐惧令人失望的顾问首先不想进行预注册。 我很高兴我所在的实验室让我轻松而有趣地完成此任务，特别是因为直到我申请研究生院之后，我才开始对这些问题进行思考，所以这不是我要问的问题关于我何时面试。
- 我使用了开放科学框架中的“预注册挑战”模板，尽管我没有参加挑战，因为我不想等待两个工作日对其进行审核，而且我注意到我可能想发表的许多目标期刊都没有在他们的批准名单上。 这似乎也适用于2018年12月之前发表的论文的挑战，我不想对未能按时完成任务感到难过。
- 他们的模板要求您指定要收集的所有度量以及要运行的所有分析。 不仅要考虑假设，它还会迫使您非常仔细地考虑如何检验它们。 这样可以更轻松地识别和纠正设计中的任何混杂问题，也可以考虑值得收集的任何其他类型的信息，或者在开始收集数据之前需要确保已准备好的东西（即IRB提交） ）。
- 这是有效的（主要是）。 当我开始计划要进行的所有可能的分析时，我遇到了一些场景，需要进一步了解统计信息。 例如，我计划使用混合效应模型分析数据，但是在过去，我遇到了非收敛问题。 如果我没有进行预注册，那么当我在收集数据后稍后再处理此问题时，我会很想处理该问题。 但是由于需要指定要遵循的确切程序，因此我不得不更早地阅读建模问题。 我认为这不会加速我的项目，而是加快了步伐，因为总有一些后勤问题会延迟项目的启动，但并不需要太多的工作。 例如，在我可以开始测试之前，我必须（a）等待实验室IRB修正案通过（以便我可以共享我的数据！），然后b。）等待我们订购的触摸屏显示器。 我们仅在设计和编程任务后才意识到需要触摸屏。 这意味着如果我不一直在思考和编程所有分析，那么我将在一到两个星期的时间里在这个项目上没有取得太大进展。 当然，当您同时进行多个项目时，这个问题就不那么重要了，但是作为第一年的博士学位。 学生，目前我的大部分精力都集中在这项研究上。
- 就是说，预注册中涉及一些事情，这些问题会使项目变慢。 对我而言，这主要归结为考虑所有“假设”场景。 例如，在我的学习中，我计划测试学习中的年龄差异。 我是参加智商测试的参与者，部分目的是确保各个年龄组之间的智商差异不会与我的年龄影响相混淆。 尽管我正在设计招聘程序以减轻群体之间的潜在差异，但样本中仍存在与年龄相关的智商差异的可能性。 如果我没有进行预注册，那我将不由自主地想出办法，弄清楚如果这些智商差异确实出现了，该如何处理。 但是由于必须指定所有分析，因此我什至在开始收集数据之前就必须弄清楚如何处理。 这要求我考虑通过统计测试，我希望不必运行。 以我为例，这并不是什么大问题，但是我可以想象某些设计中会花费大量的“假设”场景。 从长远来看，对这些事情进行思考可能无论如何都是有用的（是的，学习！），但是有时候，如果这是介于您和开始收集数据之间的，那可能会令人沮丧。
- 您必须在特异性和可行性之间找到平衡，而这种平衡并不总是100％明确的。 那是在有一位思想周到且能提供支持的顾问非常有用的时候（我的意思是，它总是非常有用。）预先注册一个模糊的分析计划是不值得的。 但是，当我尝试写出整个分析脚本时，我也遇到了一些问题（尽管我很高兴我这样做了，因为现在基本上已经完成了）。 使用某些统计模型，我可能不得不添加或删除随机斜率和相关性，以使它们收敛。 写出要系统地执行此操作要遵循的步骤（即我仍然完全限制了研究人员的自由度）似乎比写出可能运行的每个模型都容易。 就是说，尝试写出整个分析脚本并在不会包含在我最终样本中的试验数据上运行它非常有用。 它迫使我确保一切都被正确记录，这使我建立了整个组织系统，因此我知道数据和脚本将存储在哪里。
- 从现在开始，我的过程似乎比过去更加直接。 我们可能需要进行后续研究，以澄清对某些发现的解释，但是我不希望对数据中是否出现影响感到痛苦。 当然，如果我使用指定的样本量运行研究并看到可怕的p = .06，我将非常伤心。 但是至少当我看到自己的效应出现时，我不会试图增加样本中的人并停止—我知道我的预注册将在4年后公开，所以做不好的科学的耻辱太大了。 而且，我不想做不好的科学。 但老实说，有时公众的耻辱是更大的动机。
- 您可以预先注册而不必相信预先注册是所有不良科学的灵丹妙药。 科学界正在讨论许多改革（我的意思是在Twitter上）。 使用对实验者选择更为可靠的统计方法，将所有研究发布为注册报告，在第二个独立的数据集中验证所有结果等都是比预注册更好的事情，并且不需要这样做。 有时似乎您必须100％参加“预先注册是有史以来最好的事情，所有未预先注册的研究都是垃圾”营地，或者100％参加“预先注册不能解决任何问题”营地。 我不在任何一个营地。 在我看来，预注册将增加我最终发表的任何发现揭示出与人类思想和行为有关的有意义信息的机会，这就是为什么我首先要进入科学领域-发现某种有用的事实这意味着要成为人类。 所以我预先注册了。 但是我愿意接受这样的想法：随着我学到更多，我的观点可能会改变。
