在谷歌的仇恨语音检测算法中观察到种族偏见

 
了解是什么让某些东西具有攻击性或伤害性是很困难的，很多人都无法弄明白，更不用说人工智能系统了。有色人种经常被排除在AI训练集之外。因此，字母/谷歌公司Jigsaw设法同时绊倒这两个问题，并将黑人美国人使用的俚语标记为有毒，这就不足为奇了。
需要明确的是，该研究并未专门评估该公司以前遇到过问题的仇恨语音检测算法。相反，它被引用为当代计算解剖语言和分配“毒性得分”的尝试 – 并且它似乎以指示偏见黑人美国语言模式的方式失败。
华盛顿大学的研究人员对目前可用的仇恨言论数据库可能存在种族偏见的想法感兴趣 – 就像许多其他数据集一样，这些数据集在形成期间缺乏包容性实践。
他们查看了一些这样的数据库，其中数千条推文被人们注释为“仇恨”，“冒犯”，“辱骂”等等。还对这些数据库进行了分析，以找到与非裔美国人英语或白人英语密切相关的语言。
结合这两组基本上让他们看看白人或黑人白话是否有更高或更低的机会被标记为冒犯。瞧，黑人英语更容易被贴上冒犯的标签。
对于这两个数据集，我们发现推断的AAE方言和各种仇恨言论类别之间的强关联，特别是来自DWMW 17(r = 0.42)的“冒犯性”标签和来自FDCL 18(r = 0.35)的“滥用”标签，提供证据表明基于方言的偏见存在于这些语料库中。
实验继续，研究人员为推文采购他们自己的注释，并发现出现了类似的偏见。但是，通过“启动”注释者知道该人发推文可能是黑色或使用黑色对齐的英语，他们标记推文攻势的可能性大大降低。
这并不一定说明注释者都是种族主义者或类似的东西。但是，在社会和语言上确定什么是攻击性和非攻击性的工作是一个复杂的工作，并且在某些情况下显然对说话者身份的认识很重要，特别是在曾经讽刺地使用术语来表示该身份被收回的情况下。
什么都与Alphabet，Jigsaw或Google有关?好吧，Jigsaw是一家用Alphabet建立的公司 – 我们所有人都认为谷歌是另一个名字 – 旨在通过自动检测(除其他事项外)令人反感的言论来帮助缓和在线讨论。它的Perspective API允许人们输入一段文字并获得“毒性评分”。
作为实验的一部分，研究人员向Perspective提供了一系列相关推文。他们看到的是“我们的数据集中的方言/组与Perspective毒性评分之间的相关性。所有相关性都很重要，这表明所有数据集都存在潜在的种族偏见。“
所以基本上，他们发现Perspective更可能将黑色语音标记为有毒，而白色语音则更为可能。请记住，这不是几千条推文背后的模型 – 它是商业审核产品的尝试。
由于这种比较不是研究的主要目标，而是副产品，因此不应将其视为Jigsaw工作的某种大规模删除。另一方面，显示的差异非常显着，与团队的其他结果完全一致。与评估的其他数据集一样，至少它是一个信号，表明需要重新评估其创建过程中涉及的过程。