论文样本量少研究的局限性

会导致过拟合。论文的样本量太少会导致过拟合，过拟合就是为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别。

有人认为，对于小样本，你就无法使用统计的。但，这是一个误解，一个 常见的误解 。对于小样本，我们也有适当的统计方法。一个研究者的“小样本”，在另一个研究者看来则可能意味着“大样本”。本文中，小样本主要是指样本量在5-30个用户

值得注意的是，用户研究并不是出现小样本的唯一领域。其他具有较高操作成本的研究也会出现这个现象，比如fMRis和动物实验等。尽管我们有相应的方式来处理小样本研究数据，但我们应该清晰地知道小样本的局限性：你很难看到很大的差异，很明显的效果。 这就像使用双筒望远镜进行天文观测一样：使用双筒望远镜，你可能无法看到行星、恒星、月亮和偶尔出现的彗星。

但这并不以为着你就不能进行天文观测了。事实上，伽利略就是使用望远镜（ 与今天相当的双筒望远镜相当 ）发现了木星的卫星。

统计也是一样。仅仅因为你的样本不够大，并不能判断你能不能使用统计。再次强调， 小样本的关键限制是，你难以发现设计或措施的效果是否有差异。幸运的是，在用户体验研究中，我们往往关心的是不同用户可能发现的不同问题：比如：导航的结构变化，搜索结果页面的改进等等。下面是我们在小样本用户研究中的常见统计分析方法。比较compare如果您需要对比两个独立组别的完成率、完成时间，问卷评分等。有两种大样本或者小样的方法可以采用。具体适用与哪种方法，取决于数据的特征：连续的还是离散的。比较均值： 如果你的数据是连续的（不是二进制），比如任务完成时间、问卷评分等，你可以采用独立样本t检验。实践证明，它对于小样本也是适用的。二分变量比较： 如果你的数据是二进制的（成功/失败，是/否），你可以采用N-1的卡方检验。当期望数目小于1时，使用Fisher精确检验往往有更好的表现。置信区间Confidence Intervals当你想从样本数据来推测整个用户群，你会想到生成一个置信区间尽管小样本的置信区会相当宽（通常为20-30个百分点），但是建立这样的区间总是有益的。例如：你想知道，用户在安装打印机前是否会去阅读“Read this first”文档。而测试中，8名用户中有6名用户没有去阅读。

这时候我们可以推知：至少40%的用户很可能会这么做——这是一个相当大的比例。置信区间的计算方法有三种，这取决于你数据是否是二进制、时间或者连续的。基于平均值的置信区间Confidence interval around a mean :如果你的数据是连续的（非二进制），如评定量表、以美元计算的订单金额，页面访问数等。那么，置信区间的计算可以基于t分布进行计算（当然，这需要考虑到样本量）。基于任务时间的置信区间Confidence interval around task-time :任务时间的理论最小值为0秒（不多见），一些用户的任务时间可能是其他用户的10-20倍。对于这种不对称性，我们需要进行数据转换（ log-transformed ），然后基于转换后的数据进行计算。待报告时再转换回来。基于二进制的置信区间 Confidence interval around a binary measure :二进制的数据比如完成率或yes/no。这类置信区间的计算，可以采用校正后沃尔德检验法（ Adjusted Wald interval ）计算（这种方法对于所有样本规模均适用）。