使用人工智能进行用户体验研究分析的实用指南

用户体验/设计研究作为一个领域，目前正在努力解决人工智能 (AI) 及其用途。作为一个社区，用户体验研究人员需要敏锐地意识到权衡使用任何研究方法或工具的道德和利弊。本文探讨了用户体验研究人员在工作中使用人工智能进行分析时应明智考虑的一些关键因素。我们还将逐步介绍基于人工智能的用户体验研究助理的一些理想用例。

虽然将人工智能引入到你的工作中似乎是一个巨大的改变，但请记住，用户体验研究人员在管理新技术方面经验丰富；这是我们的工作。

我们还总是在研究方式方面处理相互冲突的义务。无论是我们在敏捷环境中设计、运行、分析和报告研究的有限时间的推动；或者我们对研究参与者的道德义务的影响——我们经常发现自己就像三明治中的肉，与我们相互竞争的义务相冲突。使用人工智能是一种诱人的“加速”工具，我们只需要事先考虑一些事情。

注意事项、注意事项

那么您最近是否与您的产品负责人 (PO) 讨论过使用人工智能？或者，也许您只是感受到通过使用人工智能来提高研究方法的“生产力”或“效率”的压力。在屈服于推拉和冒险之前，您需要考虑很多因素。

首先，与我们研究的所有内容一样，使用环境是理解需要评估哪些考虑因素的关键。LinkedIn 和 Facebook 等网站上的一些用户体验研究人员的专业网络小组一直在讨论使用人工智能来做各种各样的事情：从制作人物角色、撰写报告、转录研究会议等等。在本文中，我重点介绍使用生成式 AI（如 ChatGPT）来分析研究会话中的主要定性研究数据，以揭示主题和见解。

当您需要分析大量定性数据时，您很容易简单地抓取这些数据并将其放入 ChatGPT 中以得出一些见解。生成式人工智能可以做到这一点，但是在这样做之前我们需要考虑哪些事情？

这里仅仅是少数：

组织风险偏好：您的组织是银行、保险公司还是政府？

由于生成式人工智能工具在处理数据方面存在问题，一些组织（以及某些人工智能供应商）比其他组织更愿意使用生成式人工智能工具进行研究分析。在尝试处理组织、客户或研究参与者的数据之前，请让法律、隐私、网络等专家参与其中。

知情同意：您的同意书是否告知研究参与者特定人工智能供应商将如何记录、存储和使用他们的数据？

一些供应商将使用这些数据来训练他们的人工智能模型，一些供应商可能会让人审查这些数据，而另一些供应商可能会将其用于其他目的。每个人工智能供应商及其不同的产品可能存在很大差异。您需要在同意书中让潜在参与者知道他们的数据将如何处理和使用。

去身份化：即使参与者同意人工智能供应商现在和将来如何使用他们的数据，您也需要确保输入生成人工智能工具的信息不包含个人身份信息（姓名、出生日期甚至可能识别参与者身份的个人信息的组合）。无论如何，去识别化应该成为研究人员标准实践的一部分。

输入能力——排除“不安全”主题：一旦您将数据输入生成式人工智能工具，有些工具可能会因其内置的审核系统而阻止您对其进行分析。最近，我们正在分析有关退伍军人（好的和坏的）经历的数据，由于一些生动的战争描述的性质，ChatGPT 不允许我们分析数据或将一些分析结果发送给同事。有些工具允许绕过这一点，但如果您正在研究棘手、敏感但合法的主题领域，使用生成式人工智能分析可能会更困难。

输入能力——标记数量：一些生成式人工智能工具在一次可以处理的标记数量上受到限制（类似于单词、数字和标点符号的部分——人工智能版本的字符限制）。如果您的成绩单很长，那么您可能需要将其分解为多个条目。虽然最近 ChatGPT 对此有所改善，但它对这些标记的记忆确实有限，因此人工智能工具可能会忘记您之前输入的内容，从而在不知不觉中使您的结果产生偏差。

输入和输出的所有权：输入（您输入生成式人工智能工具的内容）和输出（生成式人工智能工具响应您的输入的内容）的所有权并不总是明确的。在许多情况下，它取决于生成式人工智能工具。因此，如果您使用人工智能提供的分析来构建产品，那么该公司是否在您的产品中拥有股份？

再加上生成式人工智能工具如何在受版权保护的材料上进行训练的不明确状态，这可能是一个需要考虑的问题。

输出的准确性：人工智能对其所组成的事物非常有信心。我曾经向谷歌的巴德询问有关一项悬而未决的大型金融合并的最新消息。巴德表示，此次合并已于 X 日获得监管机构批准，但事实上该交易已于该日被监管机构阻止。不仅如此，巴德还概述了接下来的几个有关合并的新闻报道的日期，尽管这些事件尚未发生。这个故事的寓意是，我们目前还不一定相信这些工具的输出。

偏见和误解：偏见是通过选择用于训练人工智能的数据而产生的。例如，生成式人工智能工具在分析您的研究数据时可能无法识别文化上不同的术语用法。例如，在澳大利亚，“生病”、“致命”等术语，甚至“米老鼠”等经常被误用的术语将使用美国数据框架进行解释。在最好的情况下，您可能会因此错过一些见解，在最坏的情况下，它会误解这些术语的文化用法，并偏离善意的切线，从而扭曲您的分析。例如。你的研究内容不是“生病”的不适者，而是一个“生病”的令人惊叹的新滑板公园设施。

环境：它可以使用大量的能源来运行人工智能程序及其分析。据报道，使用 1750 亿个参数训练 GPT-3，消耗了 1287 兆瓦时的电力，并导致了 502 吨二氧化碳当量的碳排放。相当于驾驶 112 辆内燃机汽车一年。据称， ChatGPT 中的单个请求消耗的能量比一次 Google 搜索多 100 倍。

生成式人工智能工具应由经过认证的绿色能源（风能、太阳能、水力，而不是沼气或海洋冷却）提供动力。巴德表示，“谷歌致力于到 2030 年为其数据中心实现 24/7 全天候无碳能源”，但这是否准确，告诉我我想听到什么，这一承诺最终会实现吗？

手指交叉它会的。

正如您所看到的，它变得有点混乱，这些工具将其中一些缺陷贴在了它们的工具上以警告用户。

狂野的西部？嗯，是。

然而，不同人工智能产品的功能及其相应的商业模式每天都在不断进步和完善。从我的角度来看，这似乎是最近的狂野西部，人工智能公司似乎正在使用某种快速行动和打破常规的方法，因为每个公司都希望建立相对于其他公司的先发优势。（侧边栏：像苹果这样的公司已经证明，先行者并不总是能创造出最好、最可持续的商业模式。他们已经证明，在下大赌注之前等待、学习和完善可以非常成功，所以我挑战我们目前看来的淘金热心态在 AI 空间中具有 ́\_(ツ)_/́ )。

然而，在淘金热的情况下，安全、道德和有效性等问题可能不太受关注。因此，作为一名用户体验研究人员，您的大脑经常需要解决这些方面的问题，您该怎么办？

一些供应商已经满足了一些考虑

目前，涵盖我提到的所有考虑因素的产品似乎很有限，如果有的话，那么也可能有不同程度的影响。然而，我确实认识到，习惯于在 B2B 和 B2G 环境中工作的组织（例如 Microsoft）似乎已经通过其 Azure OpenAI 产品*覆盖了许多关键领域。Azure OpenAI 本质上是 ChatGPT 的“围墙”版本，律师似乎已经介入并表示“我们需要更认真地对待这个问题”。

Azure OpenAI 明确指出，ChatGPT 的免费版本保留了与客户交互的输入和输出，并可以使用它来训练他们的模型

“您的提示（输入）和完成（输出）、您的嵌入和您的训练数据：

• 不适用于其他客户。
• 不适用于 OpenAI。
• 不用于改进 OpenAI 模型。
• 不用于改进任何 Microsoft 或第三方产品或服务。
• 不用于自动改进 Azure OpenAI 模型以供您在资源中使用（这些模型是无状态的，除非您使用训练数据显式微调模型）。
• 经过微调的 Azure OpenAI 模型仅供您使用。”

甚至还有一种方法可以免除输入系统内容的人工审核。现在，我并不赞同使用 Azure OpenAI，你需要做自己的功课，但他们的产品和商业模式是之前的演变。

微软似乎还没有涵盖环境方面的内容（根据他们的声明，显然是在 2025 年到 2030 年之间），因此，正如前面提到的，就像机器学习一样，生成式人工智能仍然会比你日常的谷歌搜索消耗更多的能量。因此，我挑战生成式人工智能运营商使用来自可持续来源的经认可的绿色电力（即更多的太阳能、水力和风能，而不是沼气或海洋冷却服务器）

那么，如果我们要使用生成式人工智能进行分析，那么用例是什么？

有些人主张使用生成式人工智能从整理的数据中生成主题和见解。但问问你自己，如果你把数据留给机器，你会对数据有多熟悉？

数据分析是真正熟悉数据以及如何知道见解是否真正准确的好方法（请记住，即使生成人工智能提供商也警告用户不要依赖数据，因为它可能不准确）。

我看到生成式人工智能和用户体验研究人员共同进行分析的一个用例似乎是研究人员分析数据，产生主题和见解，然后与他们的生成式人工智能研究助理进行核对。通过这种方式，您可以了解生成式人工智能是否有不同的方式来查看数据或其他主题。这也是为您的见解找到不同词汇或短语的好方法。当有人加入用户体验团队时，我尤其能看到其中的好处。然而，事后检查数据，看看这些额外的见解是否经得起数据的审查，仍然是重要的一步。

总体而言，在寻求使用生成式人工智能工具来分析研究数据时，有一些重要的考虑因素，并且一些成熟的参与者利用他们的经验来发展产品和商业模式，人工智能可以成为现实的研究助手，但用户要注意，做好功课确保该工具满足需求（就像任何优秀的用户体验研究人员一样）

*我并不认可使用Azure OpenAI，你需要做好自己的功课等等

翻译：云瑞设计

原文：https://medium.com/