建立用户体验研究人员的信任:n=3个让他们安心工作的理由
有很多事情让我很不爽。但是,我确信我和其他用户体验研究人员一样,有一个烦人的问题,就是有人质疑我的样本量。
“你只和X个用户谈过?哦。”
“你确定调查Y个用户就能得到一个有代表性的群体吗?”
请停止。
如果你不是研究人员,这篇文章将介绍三个原因,为什么你对样本量的问题和关注有时可能有点偏离目标。
如果你是研究人员,希望这篇文章能给你提供一些思路,让你在下次遇到样本量问题时如何应对。
原因一:可推广性不是样本大小的函数,而是抽样策略的函数
当人们要求和询问 “代表性 “样本时,通常他们的潜在担忧是关于普遍性: 一个特定样本的研究结果在多大程度上可以适用于更广泛的人群?
这是一个很好也很重要的问题,但需要记住的是,普遍性并不来自于你的样本中有多少人,而是你如何选择样本中的人。
一个非常简单的思考练习可以很好地说明这一点。想象一下,你与我签约,让我估计一下民众对总理贾斯汀-特鲁多的支持率。哪种方法会产生一个你更信任的结果:
(A) 从所有加拿大成年人的(假想的)名单中随机选出200人
或者:
(B) 我在多伦多市中心的一个商场找到的1000人。
这个例子是开玩笑的,但它说明了我的观点:如果一个抽样策略有缺陷,拥有更大的样本量并不能帮助使样本更具代表性。
同样地,使样本更具代表性的方法不一定是招募更多的人,而是改变或调整抽样策略。
因此,如果你关心的是 “这个样本的结果在更广泛的人群中是否仍然有效”,请向你的用户体验部询问他们是如何招募和取样的,而不是问他们是否认为他们有足够的人或者他们是否可以多和几个人交谈。
理由之二:普遍性不是定性研究的目标
这一点似乎具有挑衅性,所以让我直言不讳:不存在完美的研究方法。不同的方法和途径都有其优势和劣势。这就是为什么我喜欢做一个混合方法的研究者。
在社会科学领域,定性方法的优势在于对行为背后的信念产生深入细致的理解;在于能够随着时间的推移追踪过程;在于第一次在一个新的问题空间工作时产生线索和想法。但是,这种 “深入 “的代价是无法(或者,我想是没有效率)在规模上产生这种细致和丰富的水平。
作为一个类比,考虑一个望远镜。望远镜的孔径越大,你就能看得越远。同时,望远镜越大,其视野就越窄。在你能看到多宽的夜空和你能看到多远的夜空之间有一个直接的权衡,这对于业余望远镜(我最近正在购买)和天体物理学家使用的望远镜来说都是如此。
定性方法往往有很大的研究孔径–你可以用它看得很深很远,但这是以缩小视野为代价的。定量方法可以让你观察更广泛的人群,但结果是你不能像定性方法那样对你的样本看得那么远或那么深。
(最后一点是关于这个比喻的闭环: 没有人嘲笑詹姆斯-韦伯太空望远镜深入窥视一片时空,而不是广泛地勘察一大片夜空–事实上,我们为它感到高兴–那么,为什么我们要为定性研究者做同样的事情而感到为难呢?)
这并不是说定性研究者不注意作为一般因素或关注的普遍性。在设计定性研究时,研究者会考虑他们的抽样策略,以及他们所得到的样本是否与整个人口有重大的区别。但是,考虑普遍性和把它作为最终的全部是有区别的。如果普适性是你研究的最重要的目标,可以考虑采用定量方法。只要记住这些缺点。
我再重复一遍:没有完美的研究方法。
理由之三:在定性研究中,适当的样本量是由饱和原则决定的。
那么,如果定性研究的样本量不是由普遍性问题决定的,定性研究者是如何得出样本量的呢?
假设你的用户体验研究人员正在做一项访谈研究,他们开始与用户交谈。在某些时候,他们会达到这样一个阶段:他们从每一个额外的用户那里听到的都是同样的东西,不再能学到对回答研究问题有帮助的新信息。这个阶段就是用户体验研究人员所说的饱和期。
使用饱和度原则来确定样本量有两个重要的意义。
第一:在你开始收集数据之前,你无法真正知道你什么时候会有足够的数据。当然,你可以做一些有根据的猜测,但是用户体验师在开始使用并通过所收集的数据工作时,可以而且确实调整了他们的数据收集。期待你的用户体验师进行这种边走边调整的工作。
二:需要多少用户才能达到饱和,这在很大程度上取决于有多少研究问题;这些问题有多复杂或细微的差别;你的团队对问题空间已经了解多少;以及研究有多少抽样标准,仅举几例。
借用个人经验,说得不那么含糊: 我发现 “你只需要五个用户来进行可用性测试 “这个经常被重复的说法在测试一些相对简单的东西和你真正关心的只有几件事情的时候基本上是正确的。我的大部分可用性研究都有五到十个用户。由于访谈研究的种类较多,所以访谈的差异会更大一些,但我自己的大多数访谈的样本量都是7到15个。
(我的访谈记录来自于我在一个非营利组织工作的时候,在一个非结构化协议的解放式访谈研究中,最终有27名参与者。那是一个相当独特的案例–我不建议在家里尝试)。
关于样本量的教训
那么,我们今天在定性样本量方面学到了什么?
- 定性研究者通过饱和原则确定他们的样本量
- 如果你对样本量的好奇是因为你想更广泛地推广研究结果,可以考虑要求你的用户体验研究人员用定量研究来补充定性研究,或者询问他们的抽样策略(而不是样本量)。
- 定性研究者很注意对普遍性的关注,但这不是定性方法的目标或优势。