ChatGPT不能做用户研究？ 为什么ChatGPT可能会产生关于人、地点或事实的不准确的信息。

在用户体验的世界里正在酝酿一场争论。一边是那些认为ChatGPT是一个令人难以置信的工具，它允许用户体验专家用简单的提示工程取代困难的、耗时的用户访谈。上面的图片是GPT-4给我的一个结果的开头，当时我使用了一个从这样的文章中逐字复制的提示。对于一些用户体验研究人员来说，这可能看起来像魔术。它可能不是你见过的最好的角色，但也不差，我们都曾为制作这么好的角色工作过几天或几周。GPT-4可以在几秒钟内完成。正如其中一篇文章所说：

“角色是虚构的人物，代表一群具有相似特征的用户。通过在用户人口统计学和行为模式的数据集上训练Chat GPT，它可以生成详细的用户角色，可以用来指导产品和服务的设计”。

只有一个小问题：这不是ChatGPT的工作。

GPT是指生成性预训练转化器。请注意，”P “代表的是 “预训练”。你不能用你的用户反馈数据集来训练GPT。正如它自己经常告诉你的，它是一个语言模型。它实际上并不了解用户的人口统计学或行为模式是什么。如果你继续输入你的用户反馈，你可能得到的结果会欺骗你，让你以为它真的在考虑你给它的数据–直到它开始纳入它在UX Stack Exchange上读到的完全不同的数据集的时刻。

在其他文章中，这被誉为是一个特点，而不是一个错误。毕竟，ChatGPT已经在一个庞大的数据集上进行了训练，这个数据集所包含的用户行为信息肯定比你一生中的访谈和研究活动所能收集到的还要多。它将根据比你所能筛选的更多的数据来产生角色，这意味着它所创造的角色将比人类用户体验研究人员所能创造的任何东西都要好。

我不想过分简化GPT-4的训练过程–它实际上是相当迷人和复杂的–但它主要是根据它在互联网上读到的东西。

你通常会发现大量的用户访谈被上传到互联网上供大家观看，还是更多的时候被归类为专有信息，不在任何公共数据库中进行GPT-4的训练？当你要求ChatGPT写一个角色时，它的反应并不是基于对你永远无法获得的丰富数据集的仔细分析；它是基于论坛帖子和博客。

ChatGPT是一个语言模型。它从不犹豫地告诉你这一点。它不能分析数据，不能考虑用户行为，也不能得出结论。它所做的–真的很好–是想出一些听起来像回应的东西：

“如果你提出了一个科学问题，而它的回应引用了一篇不存在的论文，并有一个合理的标题，使用了一个真实的期刊名称和一个与你的问题相关的作者名字，这不是在耍花招，也不是在撒谎，更不是在做任何令人惊讶的事情！这就是回应的声音！这就是回应的声音！这就是回应的声音！它做了这件事!

但是人们一直希望 “说一些听起来像答案的东西 “的机器能做一些别的事情，并相信它正在做别的事情。

它善于产生一些听起来像对被告知它是错的反应的东西，所以人们认为它在进行反省或查找更多的信息或其他东西，但它不是，它只是，永远，说一些听起来像对话的下一段的东西。”

角色从一开始就是用户体验研究中一个棘手的问题。优秀的用户体验研究人员知道，角色是我们为了说明真相而写的虚构。它是传达研究结果的一种方式，因此角色的价值只与它所传达的研究一样。但是，由于最终的交付物是以小说的形式出现的，我们一直在与这样的误解作斗争，即一个只有我们的假设的 “角色 “也可以很好。初级用户体验研究人员看到这些斗争，甚至可能被欺骗，认为没有研究的角色一定是好的，即使只是迈出了第一步。

这样的假角色很危险，因为它们看起来像是在总结真正的研究，就像真正的角色一样，但背后并没有研究或现实。它们是纯粹的虚构。在这个过程中，在什么时候自欺欺人地认为你比你自己知道的更多是有帮助的？一个假的角色比什么都差。空白可以诚实地告诉你你知道多少，而假的角色则告诉你，你知道一些东西，但你并不知道。

ChatGPT可以在几秒钟内制作出一个假的人物形象。如果你愿意每月支付20美元，GPT-4将满足你的要求，每三小时提供25次假人物，底部有一个小小的免责声明，同时提醒你

ChatGPT可能会产生关于人、地点或事实的不准确的信息。

角色是一个特别好的例子，因为在这种情况下，用户体验专家有时会被格式和价值之间的差异所绊倒。这就是ChatGPT在很多方面的核心问题。这也是为什么直接向ChatGPT提出你的研究问题也是没有用的原因。它不能告诉你人们在使用你的网站时会遇到什么样的可用性问题；它甚至没有真正看过你的网站。它只是给你一个真正的用户体验研究报告的例子，听起来可能是这样的。

未来的AGI用户体验研究员

这可能是GPT-4的状态，但未来呢？下一代的AGI（人工通用智能）呢？当然，这将能够实现用户体验研究的自动化，对吗？

抛开AGI是否合理这一更大的问题（我认为在我们接近AGI之前，我们需要对社会大脑假说的影响做更多的工作，我自己），这样的AGI可以在几秒钟内提醒你一些用户体验的 “最佳实践”，但是在我们的领域中，有什么 “最佳实践 “不带有 “可能不适用于所有用户群 “的脚注的？

表面上看，你正在做的事情有某种独特的价值主张。如果没有，我们为什么不直接使用已经存在的东西，并且提供你计划提供的所有东西呢？既然我们谈论的是一个独特的东西，那么使用它的人就会与其他的人不同。他们可能不太可能在大多数方面偏离常规，但在你开始与他们交谈之前，你不会知道。但是，由于你的东西在某些方面是独特的，这组人很可能在那些与该独特价值主张直接相关的方面偏离常规。

如果你要做第一个为管弦乐队指挥服务的社交网络，那么你的用户中可能会有比其他网站更多的管弦乐队指挥。管弦乐队指挥是否比一般人更加专横和苛刻？还是他们实际上更有耐心？是不是成为一个指挥家需要时间，所以他们会偏向于年龄大，所以他们可能需要更大的字体和更多的对比度？还是一生都在阅读乐谱，训练了他们的眼睛，以至于大字体会让他们觉得笨重和丑陋？你可以进行猜测，你的一些猜测甚至可能被证明是正确的，但是你要和他们中的一些人交谈才会知道（大多数用户体验研究人员会告诉你，这是很罕见的不产生令人惊讶的东西的努力）。

用户体验设计对于其价值的来源是非常明确的。它就在第一个字母里： “U “代表 “用户”。为了知道人们将如何使用我们制造的东西，我们必须与他们交谈。对于一个AGI来说，它必须做用户体验研究员所做的事情–与人交谈。也许有一天，我们会开发出能够分析访谈的AGI，从面部表情和肢体语言中识别出像人类一样可靠的潜台词，从用户所说的内容中分离出重要的点，并将它们自动编入各种形式的交付物中，但它仍然必须花时间安排和进行与人类的访谈，以完成任何有价值的工作。

ChatGPT如何劫持人类的共鸣

ChatGPT的视觉导向型亲属因其对手的困难而闻名。作为人类，我们对手的物理特性有一种直观的感觉，可以很容易地注意到小的视觉问题。我们对人脸也是如此，但我们拍了很多人脸的照片，并在这些人工智能训练的标题中对其进行了一些详细描述。我们很少花时间去写足够详细的标题来描述一只手的每个手指放在哪里。

ChatGPT从根本上说并不比Midjourney或DALL-E更聪明，它只是通过语言与我们打交道。没有像我们对手的视觉感知这样的客观现实来检查ChatGPT。在对话中，我们寻找我们听到或读到的文字背后的含义，以了解产生这些文字的人的意图。这是我们同理心的自然延伸，使任何交流得以发生。如果没有最低限度的想象力，我们甚至无法理解最简单、最直接的声明。因此，为了让我们相信它的智慧，ChatGPT不需要自己做所有的事情–我们更愿意满足它的一半。用图像处理的生成型人工智能可能会产生我们很容易看到的不协调现象（比如非欧几里得手一样的恐怖），而当ChatGPT犯这种错误时，我们会用我们自己的同情心热情来掩盖它们。事实证明，图灵测试总是对机器有利。

蒂姆-莱文（Tim Levine）主张 “真相和诚实是沟通的默认模式。人们通常是诚实的，除非他们有特定的理由进行欺骗性的交流，而且人们倾向于相信他人，除非怀疑、怀疑或疑虑被主动触发”。我们很少遇到会当场编造一些东西，然后像ChatGPT那样大胆而自信地宣称的人类。罕见，但并非闻所未闻，因为病态说谎者确实存在。像ChatGPT一样，我们发现很难对付病态的骗子，仅仅是因为我们很难考虑有人会这样撒谎的可能性。我们要找的是形成话语背后意义的心态。我们可以理解有动机的欺骗–蒂姆-莱文提到的那些触发因素–某人可能为了保护自己或别人而撒谎。这种类型的谎言非但不会破坏我们的沟通能力，反而会加深我们在彼此对话中形成的思维理论。但是对于一个病态的说谎者，意义就会溶入荒谬，因为你会意识到可能没有任何意义可供理解。

说ChatGPT对我们撒谎是拟人化的。如上所述，它总是在 “说一些听起来像下一段对话的内容”。但是，由于语言是它的界面，我们人类大脑的一部分总是在寻找这些话背后的思想。它所找到的思想是一种投射。它表现得像一个病态的骗子，但那也只是一种投射。

那么ChatGPT能为用户体验研究人员做什么？

ChatGPT不能为你做用户体验研究。这从根本上超出了它能做的范围。这超出了任何人工智能所能做到的。如果你把用户排除在外，你所做的就不是用户体验设计。

但是，我不想只是在大家的游行中下雨。ChatGPT不能做用户研究，但它可以成为人类创造力的一个重要辅助工具。创造力从根本上说就是寻找事物之间的新联系，虽然你不能真的相信ChatGPT所说的任何东西，但它可以成为一个伟大的引擎，为你提供新的事物来连接。它也可以很好地写出初稿，供人类编辑审阅。

因此，为了以更有希望的方式结束这篇文章，这里有5个提示，对用户体验专业人士来说可能是真正有用的。

#1. 开始竞争者分析

如果ChatGPT是你的竞争对手分析的开始和结束，你会遇到一些与你试图使用它进行用户研究相同的问题。也就是说，你的竞争对手的存在在互联网上可能比用户访谈有更好的记录，所以要求ChatGPT提供一份你的竞争对手的名单，可能会填补一些你错过的东西。只要记住，ChatGPT很可能也错过了一些重要的竞争对手。

提示： 提供一份酒店预订网站的竞争对手分析。在分析中包括最受欢迎的酒店预订网站。根据用户界面、价格、忠诚度计划和客户支持等因素，对这些网站进行比较。讨论每个网站的独特卖点。分析他们的目标市场和人口统计学。评估每个竞争者的市场份额。

#2. 写笔记

如果你能找到一个可靠的语音转文字算法，将你的采访录音转成文字–或者只是花时间用老式的方法手工抄写–你可以把它交给ChatGPT为你写一些笔记。像往常一样，请看一下GPT的肩膀。你仍然需要阅读它所产生的笔记，并在它出错时进行编辑。

提示： 下面是我在2023年4月10日星期一下午3点通过Zoom对无名氏进行的采访记录。向我提供一份摘要，包括采访中涉及的主要话题、受访者提出的关键观点以及任何值得注意的见解或收获。摘要应简明扼要，条理清晰。

#3. 寻找灵感

有时，看看别人是如何解决类似问题的，会有所帮助。通过在线搜索寻找灵感可能很好，但这也是ChatGPT可能提供的帮助。

提示： 提供一份至少10个全球豪华酒店预订网站的清单，并简要说明其主要特点和用户体验的显著方面。该列表应强调是什么让每个网站变得与众不同，并展示设计一个伟大的酒店预订网站的最佳实践。在评估每个网站时，要考虑诸如易用性、视觉设计、过滤选项、支付和取消政策、客户支持和整体用户体验等方面。突出每个网站的任何独特或突出的功能，如忠诚度计划，个性化推荐，或会员的独家优惠。

#4. 改进微文案

微文案对良好的用户体验至关重要，但经常被忽视。如果你不确定你有多少种不同的措辞方式，你可以尝试向ChatGPT询问一些想法。它可能不会想出任何你可以直接使用的东西，但至少它可以给你一个新的思考方式。有了几个好的候选方案，你可以设置多变量测试，看看哪些方案能带来最好的结果。如果你有一个语音和语调指南，可以在提示中加入一些选择段落，以产生更好的结果。

提示： 为网站上预订酒店房间的行动呼吁按钮生成十个不同的短语。

#5. 设计一个提示

这个提示来自Bret Littlefield，他说他是从一个Discord上得到的。我一直在将这个用于各种不同的目的（包括上面的每个提示）。只要记住ChatGPT是什么，不要让它欺骗你，让你以为它能做的比它真正能做的多，只是因为它能和你说话。

提示： 我想让你成为我的提示创造者。你的目标是帮助我制作最适合我需要的提示。该提示将由你，ChatGPT使用。你将遵循以下过程：

1. 您的第一个反应将是问我提示应该是什么。我将提供我的答案，但我们需要通过接下来的步骤，通过不断的迭代来改进它。

2. 2. 根据我的意见，你将生成3个部分。a) 修改后的提示（提供你重写的提示。它应该是清晰、简明和容易被你理解的），b) 建议（提供关于在提示中包括哪些细节以改善它的建议），以及c) 问题（提出任何与需要我提供哪些额外信息以改善提示有关的问题）。

3. 3. 我们将继续这个迭代过程，我向你提供额外的信息，你在修订的提示部分更新提示，直到完成。

翻译：云瑞设计

原文：Jason Godesky