保护用户体验和数字道德:探讨邪恶设计背后责任的归属与劝说与操纵之间的界限
伦理学=道德哲学。
它定义了什么是善,什么是恶。
在很长一段时间里,谷歌声称不作恶。直到几年前,他们从他们的行为准则中删除了 “不作恶 “的格言。
你可能想知道。他们为什么要改变它?他们写这句格言的时候是不是太理想化了?
谷歌现在使用 “不做坏事也能赚钱”。
为什么这句话比 “不作恶 “好?”可以赚钱 “是否给了他们更多的回旋余地?能是可有可无的。不要是必须的。
在谷歌的理由中,不作恶意味着不向用户展示 “华丽的弹出式广告”。当然,这很好。但是,经营一个企业,做一个有道德的人,需要比诚实的广告更多的东西:税收、游说、员工待遇、供应链、设计模式、数据隐私、可持续性、多样性,等等,等等。
邪恶和道德这两个词是可以疯狂地解释的,对任何个人都有不同的含义。
这篇文章不是关于谷歌,而是关于整个科技界。作为一个行业,我们的道德水平如何?用户体验设计师在道德商业中的作用是什么?谁对道德规范负责?
邪恶的设计
我最近读了克里斯-诺德写的《邪恶的设计》一书。
这本书让我尝到了苦头。在某些时候,作者谈到了道德,但直接继续给出了关于如何做恶的建议。
这本书几乎是在告诉你: “炸弹是不好的! BTW,这里有一个莫洛托夫鸡尾酒的配方!”
建立对黑暗模式的认识是有价值的。它帮助我们不落入巧妙设计的陷阱。
但是,邪恶的设计并不是从用户的角度写的。它不是一个技术生存指南。它是对设计师的指导。它给出了如何误导用户的明目张胆的命令,比如说:
确保用户的眼睛被吸引到你希望他们看到的项目上,而远离你希望他们看不到的项目。将任何强制性的披露内容远离阻力最小的路径。在屏幕的 “死角”(右上角、左下角)使用低对比度的文字来隐藏信息。
从实际的交易点中删除任何关于选择退出活动的内容。相反,创建一个单独的位置(”隐私中心”),在那里你可以用一般的声明来掩盖真正的活动。如果你被发现对用户数据做了坏事,请深深地道歉,然后在你的隐私中心添加更多的复选框、解释和选项,这样就更难占到正确的设置。
尽可能地将花钱的过程自动化,使其从人们的意识中溜走。使用代币来消除花真钱的感觉。明确说明被拍卖/出售的物品的价值,但忽略提及相关费用。
让无知的人无知。换句话说,不要让人们知道他们不知道的事情。这样他们就会继续高估自己的能力。
你会明白的。这仅仅是一个缩影。这本书有300页的势在必行的设计建议。
如果不是从观察的角度写成建议,这本书的感觉会完全不同。”尽早奖励人们 “可以被表述为 “注意: 有一些应用程序会提前奖励人们”。
钩住了
另一本具有类似(操纵)目标的书是《钩》,作者是
Nir Eyal
. 这本书经常被列入每个设计师应该阅读的书单。
这本书分享了心理学模型,帮助我们了解如何让人们对我们的数字产品上瘾。
书中有相当一部分涉及BJ Fogg的行为模型。如果你想让用户采取行动(需要在我40多岁的时候被视为 “酷”),就需要有动机(想要一辆摩托车),有能力(钱),有触发点(离婚)。
克里斯-克纳汉
在他的文章《我们应该创造令人上瘾的产品吗?探讨Hooked的悖论”
这本书提出了一个创建产品的框架,这些产品可以形成习惯,理论上有可能提高用户参与度和保留率。但现实是,这也会促进成瘾性和依赖性,特别是对弱势用户。创造有意设计成会上瘾的产品会带来巨大的问题。
是的,为上瘾而设计可能是非常危险的。可悲的是,它可以改变人们的核心,正如我们可能都在我们的个人环境中看到的那样。
尽管有一些关于
Nir Eyal
的书,但他也写了一本解毒书: Indistractable: 如何控制你的注意力和选择你的生活。这很公平。
不是科技界独有的
关于劝说人们的建议显然不是只来自科技时代。劝说和操纵的做法已经成为社会的一部分,历来如此。这是基本的营销。或者说,高级营销。
一些关于人类行为和影响的基本书籍今天仍然流行,并且可以很容易地应用于科技界。
卡内基
戴尔-卡耐基1936年出版的《如何赢得朋友和影响他人》一书仍在许多人的阅读清单上。似乎中的一半都在写这本书。
George J. Ziogas
在他的文章《什么是 “如何赢得朋友和影响他人”,以及为什么人们一直在谈论它》中想知道为什么这本书如此受欢迎?
卡耐基的书长期以来被视为说服和谈判策略领域的经典。[……]作者建议,通过帮助其他人认识到你们有相同的目标,就有可能获得你想要的和需要的东西。
[……]一些最重要的[策略]是:避免无意义的(和不可能赢的)争论;对他人的意见表示尊重;在你错了的时候承认;想办法帮助他人对你的要求或想法说 “是”;尝试从他人的观点看问题;以及把你的想法戏剧化。利用这些技巧,卡耐基提供了非对抗性的方法来说服人们遵循你希望他们采取的行动方针。
如果一本写于近一个世纪前的书仍然如此受欢迎,那么它肯定是有说服力的。
Cialdini(西尔迪尼)
另一本标志性的说服书是罗伯特-西雅尔迪尼的《影响力》: 科学与实践》。这本书已经被用作许多操纵性设计实践的基础。
booking.com、Amazon.com和Easyjet.com等网站对Cialdini大加赞赏。他们使用了Cialdini在书中探讨的主要概念。
这些概念是:
- 互惠 – 你给了用户一些小东西,所以他们觉得在道德上有义务给予一些回报(因此,购买你的产品)。
- 稀缺性–人们非常希望得到别人得不到的东西。
- 权威性–人们漫无目的地听从可靠的专家的建议:成为一个权威。
- 连贯性–当人们从小事做起时,他们有可能最终会继续做一些与最初的小承诺相一致的大事情(踏入门槛)。
- 喜欢–我们喜欢相似的人,我们喜欢赞美,我们喜欢为了共同的目标而合作:确保你和你的用户在情感上是一致的
- 社会证明–如果群众有意见,那一定是正确的
我确信你认识到这些模式中的大多数。你可能已经建立了一些防御机制来对付这些概念。这并不意味着你没有经常在潜意识中受到它们的影响。
卡尼曼
行为心理学领域的一项不朽之作是诺贝尔经济学奖得主丹尼尔-卡尼曼的书。他的《思考,快与慢》一书解释了驱动我们决策的两个系统。
卡尼曼并没有提出如何操纵我们的黑科技。相反,他试图解释我们的行为。他表明,我们在决策中本质上是懒惰的,因此会做出错误的、非理性的选择。
他的一些概念广为人知。你可能会在当代的市场营销和技术中发现其中一些:
- 行为心理学领域的一项不朽之作是诺贝尔经济学奖得主丹尼尔-卡尼曼的书。他的《思考,快与慢》一书解释了驱动我们决策的两个系统。
- 卡尼曼并没有提出如何操纵我们的黑科技。相反,他试图解释我们的行为。他表明,我们在决策中本质上是懒惰的,因此会做出错误的、非理性的选择。
- 他的一些概念广为人知。你可能会在当代的市场营销和技术中发现其中一些:
卡尼曼的书中充满了这样的模型,包括损失厌恶(损失的感觉比收益强2倍),禀赋效应(我们高估了我们所投资的东西),以及隧道视野(你所看到的就是全部)。
马克-鲁伊
在他对卡尼曼的书的总结中解释了所有这些偏见的影响。
我们的思维充满了行为上的谬误。因此,我们面临着被操纵的风险,通常不是公开的那种操纵,而是被点拨和小幅度的增加。事实上,我们已经了解到,通过利用我们大脑处理信息的方式的这些弱点,社交媒体平台、政府、一般媒体和民粹主义领导人,能够行使一种集体精神控制。
同样明显的是,我们个人思维系统中的漏洞被利用的速度比打补丁的速度还要快!
谁对道德规范负责?
邪恶的设计》一书最后为应用所有这些 “黑客 “提供了理由:
“马基雅弗利 “被用来描述那些旨在欺骗和操纵他人以获取个人利益的人。然而尼科洛-马基雅弗利只是利用他对当代和历史事务的观察,提出最有可能帮助16世纪的政治家(”商人王子”)取得成功的行动方案。[……]他感兴趣的是记下事实,而把行动和道德判断留给别人去做。
这本书收集了观察结果[……],提出了最有可能帮助现代企业家(硅谷的商人王子)成功的设计行动路线。
这是看待本书的一种方式。
作者在后记中继续说明了我们如何用谎言帮助儿童和阿尔茨海默氏症患者克服他们的恐惧。
因此,也许使用欺骗或诉诸于潜意识动机的说服技巧可以产生积极甚至是道德的结果。[……]你必须决定的是在多大程度上把利益推向你的方向而不是你的用户。
诺德在书的结尾勾勒出了我们的可能性。邪恶(只为公司自己的利益而设计),商业(对公司和你有利),激励(只对用户有利),或者慈善(对社会有利)。
这个模型很耐人寻味。然而,作者并没有否定邪恶设计的概念。事实上,这本书只是一个关于剥削用户的一步步的指南。
你会想,难道道德不应该内在地融入我们创造产品和服务社会的过程中吗?
谁对道德规范负责?
这个问题很可能在我们许多人的脑海中闪现。让我们来探讨各种可能性。
要知道:道德是一个广泛的概念,涉及到许多事情。甚至是一些琐碎的事情,比如在公司的打印机上打印一些私人物品是否是偷窃。
在这篇文章中,我们只关注用户操纵的伦理,尽管许多事情可以适用于整个伦理领域。
用户体验人员?
我并不是说这是一种迂腐的方式,但设计师可能拥有科技界最有力的人文能力。他们最了解创业和产品选择对终端用户的影响。
这将使他们适合负责道德问题,但问题是他们没有足够的决策权。在大多数组织中,用户体验是一种服务,而不是一种驱动。用户体验的决定总是会被产品所推翻,而产品有更多的商业业绩驱动的权力,因此可以更快地倾向于 “邪恶”。
有些公司有整个道德团队。这些团队仍然没有被认真对待。我们最近看到,相当多的公司正在大幅削减这些团队的能力。或者干脆把它们全部解散了。
我们,用户体验专业人士,肯定有责任提高意识,但我们不能为道德负责。
产品、首席执行官,或任何其他领导角色?
如果那些负责公司整个运营的人能够负责,那就更好了。这将是非常合理的。然而,首长们往往有利益冲突。他们的工作是为了满足收入,风险资本家,或华尔街。通常情况下,短期的底线对他们来说是最重要的。”使股东价值最大化”。用户是为这种金钱驱动的管理付出代价的人,真的。
历史上有很多例子,C-suite做出有意识的决定,将资本收益置于用户的福祉和安全之上。
最近的人工智能辩论再次说明了这一点。
谷歌的人工智能工具巴德被自己的员工称为 “病态的骗子”。它给出的关于水肺潜水的答案 “可能会导致严重的伤害或死亡”。
尽管如此,谷歌的领导层还是想不惜一切代价进行发射。
负责新产品的安全和道德问题的工作人员被告知不要妨碍或试图扼杀任何正在开发的生成性人工智能工具[……]谷歌的领导人决定,只要它把新产品称为 “实验”,公众可能会原谅它们的缺点。”根奈(谷歌的人工智能治理负责人)否决了她的团队成员提交的风险评估,称巴德还没有准备好,因为它可能造成伤害。
– 彭博社,谷歌在人工智能领域的急于求成导致了道德上的失误,员工说
所以,是的,道德的责任不应该掌握在CEO等人手中。他们只是被竞争和财务激励推得太厉害了。在他们的世界里,道德是次要的。
首席道德官?
一些公司已经引入了首席道德官的角色。这听起来真的很吸引人。我第一次读到这个消息时,我想,我想要这份工作
然而,许多有这样一个角色的公司在他们的手上都有一大堆的血。对他们来说,这是一个胡闹的角色,是为了光学效应。
我个人认为,这种角色往往只是装点门面。但如果不是这样,他们至少没有很好地管理自己的形象:
像Salesforce的首席道德和人性化使用官员或Facebook的负责任的创新总监这样的角色的存在,会让人觉得他们已经解决了负责任的技术,或者认为道德的责任只属于他们。而这将是一个错误。
–
Sarah Drinkwater
为了负责任地建设,科技界需要做的不仅仅是雇用首席道德官
这个角色也被称为首席道德与合规官。在这里,问题变得明显。道德是关于道德的。合规是一个法律领域。这两者并不相配。这些CECO大多是前律师,在烟草、石油和赌博等行业被任命。
我相信,并且希望,首席道德官的角色在未来的商业结构中具有严肃的地位。我只是希望这个头衔还没有被破坏。
就目前而言,这个角色还没有成熟到可以依赖的程度。也许无论如何,单一的角色不是正确的方式。
首席道德官与产品和设计机构的距离太远,而大多数道德决策是在这些机构中做出的;他们的职责会与首席财务官的职责发生冲突,后者已经在财务道德方面负有责任;而且这个角色的资历意味着这个人将被视为道德仲裁者,一个做出道德判断的神谕。[…]
一个成功的首席道德官将使团队有能力做出自己的决定,而不是从上而下地给予判断。
– Cennydd Bowles, 关于首席道德官的思考
支付机构?
像Mastercard、Visa、Paypal等公司,有足够的力量来要求道德设计。当pornhub的丑闻公开后,他们很快就获得了一些公众形象积分。他们停止了为在线支付提供便利,并基本上阻止了该网站的盈利业务。
他们在合同中使用了一个相当抽象的条款,给他们足够的回旋余地来暂停付款。这是他们有可能对应用邪恶设计的公司所做的事情。但他们不会。
他们用Pornhub作为一个道德的例子。该平台是公众辩论和成人行业普遍敏感的受害者。
如果信用卡供应商会保持一致,暂停在其供应链中使用儿童的公司,他们应该暂停大量的公司。
这将是一个滑坡。
支付提供商显然有一些基本的业务要求。他们设定了一个标准,但不是一个太高的标准。理论上,他们将有能力成为我们的道德指南针。但他们不会急于承担这个责任。这可能也不是他们的角色。
也许这是……的作用。
政府?
可能是我们最后的手段。有些人可能不喜欢听,但我们必须使用 “R “字。
我们需要进行监管!
公司不会为他们所造成的伤害负责。历史一次又一次地告诉我们这一点。当然,有些公司有良好的意图,有好的产品,有好的领导。
但许多人不是这样,我们不能容忍这种情况。
误导用户是不行的。它正在造成经济、情感甚至身体上的伤害。自由市场的资本主义不比人类尊严更重要。
欧盟也同意这一点。它一直在制定法规,给科技公司和数字产品套上枷锁:
- 电子商务指令》,2000年–要求网店明确自己的身份并提供投诉程序。
- 不公平商业行为指令》,2007年–对误导性广告、隐藏费用和激进的销售策略等各种骗局进行整理。
- 消费者权利指令,2011年–进一步打击欺骗性模式,如预先检查你不想要的额外东西的选项。它还包括取消和退款的权利,透明的定价要求,以及显示交货时间信息的义务。
- 网络无障碍指令,2016年 – 要求公共网站符合WCAG 2.1和其他无障碍要求。
- 通用数据保护条例》(GDPR),2021年–防止公司疯狂地收集他们不需要的数据,并赋予我们获取和删除已收集的数据的权利。
- 2022年《数字服务法》–要求平台解释,在你给你哥哥发短信说你想去度假的5秒钟后,你怎么可能看到一个Easyjet的广告。
- 2022年《数字市场法》–各种规则应保护小型网店的权利,以避免这个世界上的亚马逊吸收所有的小公司。
除了这些,欧盟还有一个消费者保护警察。他们可以对从事欺骗性行为的公司采取法律行动。
美国也有一些法规,《联邦贸易委员会法》(FTC)和《电话销售规则》(TSR)。
然而,各大洲之间的文化差异是巨大的。在美国,各行业或各州通常被期望进行自我监管。在欧盟,法规适用于所有国家,并且更加详细和可执行。
欧盟对不遵守规定的行为有很高的惩罚或制裁,自上而下实施。美国在很大程度上依靠法律行动来执行消费者保护法。
这篇文章并不是对欧盟的宣传,但我认为为背景起见,勾勒一下法规是必要的。
为什么这么多废话?用户不是只负责任吗?
“我的上帝,别再这么欧洲化了。人们不需要被赞助。如果他们太傻,上了这些陷阱,那是他们自己的问题,不是公司的问题。”
谁应该受到保护,谁不应该?欺骗孩子买东西可以吗?患有阿尔茨海默病的人呢?还有一个认知障碍的人呢?误导他们可以吗?
我们的界限在哪里?
谁可以被认为是足够聪明,能够处理欺骗性的设计?
一些数字产品是由用户体验专家、心理学家和其他骗子组成的团队创造的,他们设计的模式可以诱导人们去做他们不想要的事情。
这是一场公平的战斗吗?看到这些黑暗模式的责任应该掌握在任何随机的个人手中吗?
你可能认为,香烟、赌场或分时公寓的危险对每个人来说都很清楚。但我们很大一部分人已经上了这些骗局的当。科技界的做法要微妙得多,因此,误导性更强。
未来将带来什么?
似乎世界总是处于一种猫捉老鼠的状态。
Twitter猫汤姆和Jurisdiction老鼠杰瑞。
公司想出了一些 “聪明 “的办法,而政府则在一段时间后作出反应。
欧盟的法规是一个开始,但对任何应用程序创建者来说,它们都很难消化。我曾与相当多的专家和高管一起研究数字产品。很少有人知道他们要遵守的法规。
公司只是不知道他们应该适用哪些法规。你可能会开始认为,道德和合规最终是很好的结合。了解什么是黑暗模式,什么不是,对公司来说太复杂了。
可访问性的世界是比较清晰的。它有定义明确的准则(WCAG),每个人都可以简单地应用。但即使这些准则也不足以确保完全无障碍的产品。
也许我们需要某种针对黑暗模式和道德的全球WCAG。WDDG:网络欺骗性设计指南。我们可以定义几个级别,并将各行业分配到相应的级别。想象一下:税务系统、银行业等,必须遵守最严格的规定。
这将是一个值得在另一篇文章中探讨的问题。
我们正在对未来进行哲学思考。
我们可以选择成为马基雅弗利主义者。这位意大利哲学家认为,领导人应该使用任何必要的手段来维持权力和控制,即使这意味着残忍或不道德。
或者我们可以跟随一位生活在同一时期并思考类似挑战的明智的荷兰人: 伊拉斯谟。他相信道德的重要性。他主张统治者要有德行,要用同情心和智慧来治理。
说我是荷兰人,说我是天真,说我是理想主义,但我绝对是伊拉斯谟的团队。
道德的责任并没有被定义。道德甚至没有被定义。
作为用户体验从业者,我们今天能做什么?首先,我们可以挑战我们产品负责人的要求。你的公司是否想让你设计一些东西来故意误导用户?仔细检查一下吧。找出这个设计如何使用户处于危险之中。讨论一下。谈论名誉损失、流失率、NPS和…道德选择。黑暗的模式可能听起来很吸引人,因为产品导致了 “黑客 “的增长,但从长远来看,它们会损害业务和品牌价值。成为用户的大使,而不是盲目接受订单的设计奴隶。
祝你在辩论邪恶的企业产品要求时好运。用户依靠的是你。
如果你不能赢得辩论……有很多你可以为之工作的公司,他们实际上想经营一个诚实的企业。
我知道有些人读了这篇反思后不同意其要点。我对尊重的辩论持开放态度,所以请随时在评论中分享你的见解。
感谢你到达终点