论文研究方法中的总体效度是什么

为什么要写研究局限性论文写作中添加有关研究局限性的描写有助于增加文章的可信度。如果审稿人发现某一局限，但是作者未事先说明，审稿人可能会对论文产生负面印象。如果在未来的研究背景下讨论论文的每个局限性，即提出在未来研究中提高研究有效性的方法，你的文章更有可能被引用，因为它将为其他研究人员的研究问题提供有价值的信息。如何识别研究局限性你应该从两个角度思考你的研究 -内部有效性和外部有效性。内部有效性是指研究推断的强度，即你是否怀疑对所观察到的结果是由测试变量引起的？其他因素是否会影响结果？如果是，你的研究的内部有效性可能有局限性。外部有效性是指结果可以推广到更普遍的程度。如果要在不同的环境中利用相同机制重新进行研究，例如，不同的研究对象或不同的环境中，这类研究会得到类似的结果吗？如果没有，您的研究的外部有效性可能有局限性。不应该担心局限性提醒一下，所有研究都以某种方式存在疑问。在这篇文章中......我们列出了科学、技术、教育和医学领域（STEM）研究中最常见的局限性，并提供了真实的例子。但请注意，这不是一份全面的清单。此外，请注意这些限制并不相互排斥，许多可以重叠。研究局限性的示例Selection bias选择偏差当用于分析的个体、群组或数据的选择不是随机的，会发生选择偏差。例如，假设一项研究回顾性地对比了不同外科手术的死亡风险[例1]。其中一项外科手术较其他的更新。当测试了新的外科手术后，外科医生当然选择最理想的手术。因此，研究结果会受到外科医生选择手术类型这个个体的影响，即只为其中的一个治疗组选择最理想的手术治疗。Confounding干扰因子干扰因子是另一个例子，有时会被隐藏，是一个影响因变量的变量。如果一个干扰因子没有被考虑到，任何测试变量和结果的关系都不会准确。例如，设想一项研究检验了眼球追踪测定认识性能[例2]。众所周知，认识性能随着年龄增加会减弱。因此，如果年龄不作为一个干扰因子，效应量会被低估或高估。另一个例子，假设在研究中检验了骨关节炎和心血管事件的关联[例3]。心血管事件与很多因素有关，包括吸烟状况，腹部肥胖，心血管家族史等，这些都会干扰结果。Survivorship bias幸存者偏差如果仅仅对一些经过相同选拔流程的和由于缺乏可见性没有被忽视的学科偏差作出推论，就会发生幸存者偏差。例如，假设一项研究检验了骑车和性功能障碍之间的关联[例4]。一个人遭受性功能障碍可能是因为骑车会影响活跃。因此，如果该项研究只研究了经常骑车的人，这个人会被忽视，并构成该研究结果的偏差。Study scope limitations研究范围局限不可靠或不可用的数据能限制研究范围，甚至整个结果。例如，假设一项研究检验了不同世界地区内的热产生[例5]。研究人员没有关于家庭使用木材的数据。在一些地区，比如，发展中国家，家庭木材的使用产生了打了的热。因此，这些地区的热产生会被低估。Sample size limitations样本大小的局限如果某个特殊的结果是真实发现以及类型II的错误在一些情况下可能发生，比如，虚无假设是错误的，研究小组间的差异未被报道，则样本大小可能很难确定。例如，设想一项研究检验了血栓溶解在治疗急性心肌梗塞的功效。血栓溶解对急性心肌梗塞的的影响很重要但是很小。因此，样本量相对较小的研究可能无法揭示这一较小的影响，还可能会导致类型II的误差 [6]。Experimenter bias实验者偏见当进行实验的个体对不同试验组的参与者以不同的无意识表现不经意地影响实验结果时，就是实验者偏见。例如，设想一项研究测试了游戏玩家是否知道其与一个人或人工智能对战的能力 [例7]。服务商在参与者的背后观察着游戏对战。如果服务商意识到人工智能的本性，他们可能会无意地影响参与者。Referral bias转诊偏倚转诊偏倚是指病人从一个诊所转至另一个的现象，经常是专业单位，倾向于比非就诊的病人更可靠。在包含许多转诊的研究中，风险因素可能被高估。例如，设想一项研究在某专业转送中心评估了神经结节病的临床表现[例8]。慢性无菌性脑膜炎是最常被报道的净胜异常——37%的病例。和其他研究相比，这个频率是相对较高的。该转送中心以慢性脑膜炎专业为人熟知。因此，这种病例可能会被转送到该中心，构成转诊偏倚。Self-reported data自述数据自述数据受多种偏差影响，比如，选择性记忆，夸张等，并且不能各自证实。例如，设想一项研究在确定智能手机用户压力时，检验了输入压力的有效性 [例9]。要求参与者回想压力，并在一定范围内排序。随后检测输入压力。无论什么原因，参与者可能高估或低估压力水平，从而影响了研究结果。Limitations of exploratory studies探索性研究的局详性如果对于某个存在极少或没有先前研究的主题，研究人员可能需要建立一个与研究问题和研究设计相关的基准。由于不存在基准作对比，结果的有效性受争议。例如，设想一项探索性研究测试了电视用户使用新的远程控制器 [例10]。不是按钮，而是远程挤压或吸。直到结果可重复，否则不认为研究发现是决定性的。Methodological limitations方法局限性这是指对研究中方法论的相关局限性。例如，设想某研究测试了端粒长度用作先天性角化不良的诊断参数[例11]。该研究采用了来自两个医院的先天性角化不良病人的数据。每个医院采用自己的方法提取DNA，其中一家提取的是较短的DNA，这个局限性会影响研究结果。另一个例子，设想某研究测试了一种新颖的技术监测结构损伤的能力，而结构损伤是很难被监测的（例如，下桥）[例12]。该研究认为新技术是有前景的，然而，其覆盖范围只有30 × 30 m，意味着该新技术只适用于短距离范围。Systematic literature reviews系统的文献综述在一篇系统的文献综述中，研究人员使用定义明确的搜索技术搜索相关研究问题的文献。然而，取决于搜索标准，无法保证可以搜索到所有相关的文献。通常，灰色文献和技术报告不包括在内，系统的文献综述只包括一种语言，典型的是英语呈现的研究。Hawthorne effect霍桑效应霍桑效应是指当参与者意识到自己被观察的时候表现不同的现象。例如，设想某研究测试了恐惧诉求信息促进在线安全行为的能力[例13]。给参与者展示网络攻击的盛行和影响的详细恐惧性诉求，随后在线调查他们的行为。在4周后，再次考察参与者，看恐惧诉求的影响是否在持续，以及是否有采取行动的意向。参与者可能假装声称已经改进自己的行为试图减少因没有改变行为的羞耻，或试图使研究者满意。Regression toward the mean趋中回归这是指某变量首次测试是极端的（即远不止平均水平），而第二次测试不那么极端的现象。典型地是伴随着不对称采样发生，例如，研究只采用最差或最好的。但是，它仍会偶然发生（见示例）。例如，设想某研究检验了血细胞比容（红细胞体积占血总体积的比例）对鸟类飞行特性的影响[例14]。在先期试验中，即，在操作血细胞比容前。鸟在试验组中被认为是具有相当好的飞行特性。即使没有操作，如果反复测试，由于趋中回归，这些鸟的飞行特性也会被减弱。因此，后期测试的结果，即，操作以后，可能受到该效应的影响，并且可能不是操作真实效果的反映。Repeated testing重复测试重复测试参与者可能导致偏差。先期测试可能以未曾料到的方式使参与者敏感，影响后期测试的结果。例如，设想某研究测试了以不同眼睛测试，诊断青光眼导致的焦虑[例15]。几乎所有的参与者都进行了其中的一项测试。这可能导致低估了焦虑会随着测试的进行而增加。Population validity总体效度总体效度指研究中的样本如何代表目标人群。例如，设想某研究中目标人群都是美国的因特网用户。仅仅使用推特用户就不具有代表性，因为美国的成年推特用户更年轻，并且相对于普通大众更可能是民主党 [16]。如何表现局限性通常，研究局限性以过去在讨论部分的结尾给出。以开始局限性作为开始。提出围绕这个问题，是否采取任何措施。描述任何证据可能会减小局限性的影响。讨论局限性如何影响研究结果。最后，如果可用，讨论能够采取的措施在未来的研究中克服局限性。参考文献：Stiles ZE, Behrman SW, Glazer ES, Deneve JL, Dong L, Wan JY, Dickson PV. Predictors and implications of unplanned conversion during minimally invasive hepatectomy: an analysis of the ACS-NSQIP database. HPB. 2017 Nov 1;19(11):957–65.Rosa PJ, Gamito P, Oliveira J, Morais D, Pavlovic M, Smyth O. Show me your eyes! The combined use of eye tracking and virtual reality applications for cognitive assessment. In Proceedings of the 3rd 2015 wor

效度指的是测量的正确性和有效性，即它可能测出所要测量的心理特征和行为特征的程度。换言之，效度测验能在多大程度上实现测量目的。它是科学测量工具最重要的质量指标。一个测验若无效度，则其他任何优点都无法发挥其真正的功能。在编制测验时首先必须考虑其效度要求。当然，效度也不是绝对的，而是相对的。任何一种测验只是对一定的目的来说是有效的，对其他目的和用途却不一定有效。另外，由于测验是根据行为样本对所要测量的目标作间接推断，因此效度只能达到某种程度，不可能全有或全无。 效度是一种测量手段能够测得预期结果的程度。从统计学角度可把效度定义为潜在真分数方差(垏)与实得分数方差(垑)的比率，效度与信度的关系为：信度是效度的必要条件，但不是充分条件。一个测量的效度要高，其信度必须高，而一个测量的信度高时，效度并不一定高。即测量工具确能测出其所要测量特质的程度。效度是科学的测量工具所必须具备的最重要的条件。在社会测量中，对作为测量工具的问卷或量表的效度要求较高。鉴别效度须明确测量的目的与范围，考虑所要测量的内容并分析其性质与特征，检查测量的内容是否与测量的目的相符，进而判断测量结果是否反映了所要测量的特质的程度。