请叫我大海哥
做量表研究的人,或多或少都曾因为量表效度不达标困扰过,尤其在很多研究领域并没有特别权威的经典量表可以引用。使用自制的量表来研究,容易信效度不达标,那么如果遇到效度非常糟糕的情况时应该怎么办呢?
在解决效度低的这个问题之前,我们不妨一起来回顾下,判断效度达标的指标都有哪些。以使用探索性因子分析检验结构效度为例:
( 1 ) KMO > 、通过巴特莱球形检验
SPSSAU效度分析 中可自动输出KMO 和 Bartlett 的检验结果。
如果KMO值高于,则说明效度高;如果此值介于之间,则说明效度较好;如果此值介于,则说明效度可接受,如果此值小于,说明效度不佳(如果仅两个题;则KMO无论如何均为)。
通过Bartlett 球形度检验意味着变量之间有一定的相关性,适合使用因子分析检验效度。
(2)分析项归类清晰
结构效度分为两种:一种是使用探索性因子分析的方法;另一种是使用验证性因子性分析。其中探索性因子分析适合非经典量表使用。
比如说预期有5个维度,但是分析后得到3个公因子,可能就是某些分析项预期与实际分析时出现了偏差,这时可以适当删减不合理的分析项,当分析项与维度的划分与专业意义上的内在逻辑结构基本一致,此时则说明数据具有较好的效度。
通常分析项的在某个因子下的因子载荷系数绝对值>,即认为该分析项可以归属于这个因子下。
比如上表中的分析项d1,预期归属于因子5里,但实际在因子1里。此时就应该移出d1重新分析。
(3)其他效度分析判断指标: 共同度 、相关系数矩阵等
如果变量相关性过高,可能会存在共线性问题,区分效度较低等问题;如果相关性太低,则说明变量之间的内在联系比较弱,不适合进行因子分析。通常共同度值>即可。
共同度值可在 效度分析 结果中获得,相关系数矩阵可通过SPSSAU【 通用方法 】--【 相关 】得到。
(1)怎么都划分不清维度
(2)实际分析项归类与预期维度不同
(3)有很多共同度很低的题项
(1)怎么都划分不清维度
建议每次 放入一个维度的题项 ,移出共同度低的问题。重复以上操作,将每个维度分析一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体分析。这样就可以看到维度之间划分得是否清晰。
(2)实际分析项归类与预期维度不同
分析项归类与预期维度不同,是一个非常常见的问题。
CFA检验流程轻参考:
建议每次放入一个维度的题项,移出共同度低的问题。重复所有维度操作一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体做一遍。这样就可以看到维度之间划分得是否清晰。
如果仍然无法解决建议可增加样本量,或重新收集数据修改量表内容。
如果结果的维度划分比较清晰,且符合专业知识认知,建议以分析结果为准,根据假设和结果,修正量表。
同样的样本数据,不同的分析思路,有可能出现结果不相同,但只要符合效度的思维概念即可。
(3)有很多共同度很低的题项
有很多共同度低的分析项,意味着分析项之间的关联性较低,通常这时候分析项归类也不好。
此时建议可以从共同度最低的分析项开始移出,依次分析直至删除所有共同度小于的项,需要来回多次进行对比,找出最佳结果。
当然,最根本的改善效度的方法,还是要做好预调研工作,保证数据收集质量。设计量表时每个维度的题目最好有出处可寻。这样做才能为后续分析工作提供便利。
wuyan841106
保证良好信效度的5个方法
01
提高信度的方法
方法1:适当增加同质的题目来增加量表的长度
方法2:问卷题目设置的难度适中
方法3:测验的时间够充分
02
提高效度的方法
方法1:确定好量表的假设结构维度,编好每个问题题目
方法2:保证回收量表的质量和数量,题目数量与被试样本数量之比最好是1:5
方法3:适当增加同质的题目来增加量表的长度。
03
使用成熟问卷
大部分同学是可以做到的,使用现成的问卷,或者稍加改动后使用,但也有少数人觉得修改一些没有问题,然后导致问卷逻辑有问题,最终造成信效度较低甚至不达标,辛苦收集的数据白白浪费掉。
04
小范围测试问卷
发放正式问卷之前,最好有一次试测,即便小范围收集几十个样本,然后跑下数据,看看信效度和其他分析的大致情况。
05
剔除无效样本
只要真实收集问卷,无效样本量会很小,但严格来讲,并为了保障结果更好的满足预期,需要剔除无效样本。
wendyhuihui
信度是指测验结果的一致性、稳定性及可靠性,一般多以内部一致性来加以表示该测验信度的高低。信度系数愈高即表示该测验的结果愈一致、稳定与可靠。系统误差对信度没什么影响,因为系统误差总是以相同的方式影响测量值的,因此不会造成不一致性。反之,随机误差可能导致不一致性,从而降低信度。效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量到的结果反映所想要考察内容的程度,测量结果与要考察的内容越吻合,则效度越高;反之,则效度越低。效度分为三种类型:内容效度、准则效度和结构效度。提高测验信度的方法 : ( 1 )适当延长测验的长度 : 测验的长度主要指量表所包含的题目多少。对一个测验来说 , 测验的题目越少 , 得分越容易受偶然因素的影响 , 故测验的信度越低。 反之如果测验题目较多 , 即测验长度延长 , 扩大了被试得分范围 , 可在一定程度上排除偶然因素的影响 , 从而提高测验信度。但是测验信度的增加并不是等比例提高信度系数。当信度系数较小时 , 延长测验长度信度系数增加较大 ; 当信度系数已经较大时 , 延长测验长度对信度系数的影响就较小了。而且 , 在延长测验长度时 , 还需考虑其他因素的影响 , 如被试在回答问题时是否疲倦或产生厌烦情绪 , 是否节省时间、物力和财力 , 测题是否附合测验目的等。 ( 2 )测验的难度要适中 : 难度即测验的难易程度 , 当测验难度太大时 , 被试得分普遍太低 , 呈负偏态分布 ; 当测验难度太小时 , 被试得分普遍较高 , 呈正偏态分布。太难太易的测验都使被试得分差异减小 , 使实得分数方差减小 , 从而降低测验信度。( 3 )测验的内容尽量同质 : 性质相同的测验内容 , 对被试也要求相同的能力、知识和技能 ; 而内容不同质的测验 , 则要求被试不同的能力、 知识和技能。因而为了提高测验信度 , 测验内容应尽量同质。 ( 4 )测验的时间要充分 : 对某一测验而言 , 应保证绝大多数被试在规定时间内完成测验 ; 否则 , 如果被试不能从容回答所有问题 , 就不能反映被试的真实水平。 ( 5 )测验的程序要统一 : 包括测验的题目统一 , 指导语、 回答问题的方式、分收试卷的方法、测验时间等都要统一。 ( 6 )评分要客观 : 评分是否客观对测验信度有直接的影响。对于客观性题目 , 评分标准明确 , 评分容易做到客观 ; 但对于主观性题目 , 受评分者影响较大 , 不易做到客观。为了尽可能客观评分 , 应制定明确而易掌握的评分标准 , 尽量做到一卷多评 , 或一人只评一题等。 提高测验效度的方法 : ( 2 )控制系统误差 : 系统误差是影响测验效度的主要因素。它主要包括仪器不准 , 题目和指导语有暗示性 , 答案按排不当 ( 被试可以猜测 ) 等 , 控制这些因素可以降低系统误差 , 提高效度。 (2) 精心编制测题和测验量表 : 首先测题内容要适合测验目的 , 如知识性测题就不能全面反映被试的智力水平 , 它主要测量其知识水平。其次 , 测题要清楚明了 , 用语要让被试理解 , 排列由易到难。第三 , 测题的难度和曲分度要合适。 (3) 严格按照测验程序进行测量 , 防止测量误差 : 要严格按照测验手册进行测量 , 不能作过多的解释 , 按标准评分 , 两次测验间隔要适当。 (4) 样本容量要适当 : 当样本容量增大时 , 样本对总体的代表性提高 , 样本大 , 被试的内部差异增大 , 扩大了真分数的方差 , 使效度提高。 样本容量一般不应低于 30 。另外 , 抽样方法也很重要 , 一般用随机抽样 , 当群体很大时 , 可分层抽样 , 样本容量扩大时 , 其代表性才随之增大。 (5) 正确处理好信度与效度的关系 : 信度是效度的必要条件 , 但信度高的测验 , 效度不一定高 ; 而效度高的测验 , 信度却比较高。但是 , 既要有高效度 , 又要有高信度是不容易做到的。“最大可靠度(信度)要求测验项目之间有高度的组间相关; 最大预测有效度却要求低度的组间相关。最大可靠度(信度)要求项目等同的难度; 最大预测有效度却要求项目的难度有所区别。中等程度的组间相关( ─ ), 通常可产生良好的效度 ( ─ ), 并且产生满意的信度 () 。” ( 郝德员 : 《教育与心理统计》 , 教育科学出版社 ,1962 年版 .P429) (6) 适当增加测验的长度 : 增加测验的长度可提高测验的信度 , 也可以提高效度 , 但增加测验的长度对信度的影响大于对效度的影响。如果增加测验 长度到原来的 n 倍 。
他们的快乐
在23日举行的太湖人力资本论坛上,与会专家和企业家都不约而同地谈到了一个话题:招聘难。企业家们抱怨,在人才市场上很难招到需要的人才。专家学者们则指出,国内企业招聘乏术,才市充满了歧视。我们到底应该如何去招聘?这成了一个必须先于一切解决的人才课题。 “这样的面试纯属浪费时间!” “国内企业根本没有有效的招聘技术,因面试无效而浪费了大量的时间和人才!”著名劳动经济和人力资源管理学家曾湘泉教授话一出口,立刻点中了台下不少企业的死穴。对于国内大多数企业来说,招聘就是到人才市场买个摊位,摆张桌子,收几份简历,与心仪的应聘者简单地聊会儿天,对合适的人选安排更高层次的面试,然后企业领导拍板,招聘成功完成。至于这个人到底具备何种具体的能力,是否是岗位最需要的“这一个”,人力资源部和老板心里都没底,一切得等到上岗后再说。曾湘泉教授说,国内企业的人力资源管理人员大多从过去的人事干部转化而来,他们比较擅长管理档案,但对岗位和招聘技术缺乏研究。曾教授曾在广州参加了一个大型人才招聘会,发现50%的企业的招聘简章上都不写“职位说明”,对应聘者的要求倒是一大堆。如果连招聘方自己都搞不清楚这个岗位是干什么的,怎么能指望应聘者明白企业的要求,又怎么可能招到合适的人才? 面试成了摆设,这是另一个让专家们感到遗憾的地方。曾湘泉教授说,国内的政府和企业面试有两种套路:一种较传统,面试官会问应聘者一些学历、爱好、经历等方面的问题,好一点的会提一些与专业相关的问题;另一种属前卫,招聘官模拟国外一些企业的面试技术,向应聘者提一些让人摸不着头脑的古怪问题,美其名曰“考察逻辑思维和反应能力”。实际上,这两种面试法都有很大的偏颇,不能真正考察面试者的素质。曾教授提到了如今国内颇为流行的“公开答辩”,许多政府部门竞岗和大公司招聘都采用这种形式。但在专家们看来,公开招聘就像审犯人,公开答辩除了能考察面试者的口头表达能力外,没有其他的实际价值。 “招聘是个技术活” 招聘到底有没有技术含量?著名管理专家、北大纵横管理咨询公司CEO王璞教授肯定地说,有,不仅有通道,还有程序和理念,更有工具和方法。在美国,一家企业的招聘是这样进行的,两个区一块招聘白领,一块招聘蓝领;每位应聘者根据招聘简章上的“职位说明”到对应区域提交简历,随后领到一张表格,上面列了几十项岗位能力,应聘者只需在自己具备的项目上打勾,招聘官随后会据此作出测算,决定每一个岗位的人事去留。专家告诉我们,这种典型的招聘模式至少对国内有两点启示。第一,一定要写《职位说明书》。企业和应聘者都需要清晰的知道,这个岗位是“干什么”的,然后才是提要求。第二,建立素质模型。对于董事长、总经理、政府高官等高层管理人员来说,素质模型是最科学的评价方式。曾有一家跨国公司的中国区总裁业绩非常出色,就因为在素质模型中有一项“团队意识”不合格,惨遭免职。 许多国际知名公司都表示,招聘不是一件简单的事,过五关斩六将方能确保留住优秀人才。面试的智慧不在于关注年龄、教育程度、工作经验等纸上信息,而在于通过交流,把握应聘者的性格特征、能力取向和专业素养。 “反歧视条款应写进《就业法》” “中国的人才市场充满了各种莫名其妙的歧视!”对此,企业说这实属无奈,专家学者称这可能涉嫌违法。 曾湘泉教授开玩笑说,现在的人才市场只要有三句话就“走遍天下都不怕”:男性,35岁以下,硕士以上学历。性别、年龄、学历三大歧视以及对身高、乙肝病毒携带者的种种歧视,以一种莫名奇妙的态度将众多优秀人才摒弃在门外。与此形成对比的是,美国人才市场中,只有2%的岗位提“硕士”,4%的岗位提“博士”,4%的岗位提“本科”,90%的岗位没有任何学历要求。近年来,国内对乙肝病毒携带者的歧视有所好转,但许多新的歧视又冒了出来。一些企业对员工的年龄限制已从35岁以下调至28岁以下;某企业招聘的会计女性身高不得低于160cm;某省的打工者一律不收;至于“硕士学历”,几乎遍地开花。
木图先生
一般我们做的所谓信度都是alpha系数,这个指标其实是对你问卷所用的题目的内部一致性,即内部相关的一种检测,相关越高,代表信度越好,那你就要想办法提高项目间的相关。一般就两种法子,第一,增加题目,自己根据理论依据和自己的合理论证给问卷添加符合其概念的题目,好题目(同质的题目)加的越多,信度越好,第二,删题目,把和其他项目明显不一样的题目删掉,也能增加alpha系数值,至于删哪个,你可以根据spss求alpha系数的操作来进行,在spss里面选分析——可靠性分析——然后在对话框里面找到有一项是 如果删除该项目后所得的alpha系数,这个操作会告诉你每个题目删除后alpha系数的变化,这样你就知道该删哪个了,另外也可以根据理论依据,把不符合理论的题目删掉。总而言之,就是增加同质的题目,删掉不同质的题目信度是效度的必要条件,也就是说,要想效度高,首先要信度好,那么提高信度的方法也可以用来提高效度可以说,增删题目是最常见也最有效的方法,本来增加样本容量也是个好办法,不过既然你说没时间,那就没法子了。另外的话,就是去除异常数据,把乱答的找出来,比如全部填同一个答案的,规律作答的,还可以按均值上下3个标准差去除极端值
你好!这个一般按照你写的论文随便抽几个题目进行提问,你只要多看他几遍你写的论文就可以了,做到心中有数,别急,老师一般都让你过的
做量表研究的人,或多或少都曾因为量表效度不达标困扰过,尤其在很多研究领域并没有特别权威的经典量表可以引用。使用自制的量表来研究,容易信效度不达标,那么如果遇到效
信度(reliability)即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度。从另一方面来说,信度就是指测量数据的可靠程度。
亲,为您查询到的答案是:是的,学生自我评价表应该测试信度和校度。信度是指测量工具的准确性,即测量工具能够准确地反映研究对象的特征。校度是指测量工具的可比性,即测
信度系数低的原因 可能是收集的数据质量有问题,也可能是问卷 中的个别题目不适合,需要进行修改或者删除