核心提示:阿胡贾:算法会复制真实世界中的偏见,尤其是种族偏见,计算机科学家想到了一种办法,可以检验某种算法是否有歧视现象。
机器人身上存在着偏见。人们发现,被用于做出重大决策的算法——这些决策可能改变别人的人生,比如拒绝求职者、识别可能再次犯罪的囚犯、甚至转移疑似有受虐待风险的儿童——会复制真实世界中的偏见,其中最具争议的是种族偏见。
现在,计算机科学家相信他们有办法识别这些缺陷。这种技术据称可以克服算法偏见中的“第22条军规”(Catch-22):例如,如何在用户没有明确透露他们所属种族的情况下,查验自动化决策对黑人和白人群体都是公平的?它允许有关各方加密和交换足够的数据,以识别有用信息,同时在信息交流过程中将敏感的细节隐藏起来。这项研究成果发表于7月在斯德哥尔摩召开的机器学习国际会议上,课题负责人国图宾根(Tübingen)马克斯?普朗克智能系统研究所(Max Planck Institute for ligent Systems)的尼基?基尔贝图斯(Niki Kilbertus)。
想象一下,向虚构的公司Tedium申请一份工作。申请人在网上递交简历,由算法筛选面试对象。Tedium的高管们担心,算法可能会歧视年长的求职者——但怎么在不询问求职者年龄的情况下,检查是否存在歧视呢?
答案是设一个加密层,使敏感数据无法被读取。当你输入年龄时,年龄信息就会被加密。第三方、比如监管者,也会接收到这些加密信息。招聘人员和监管者现在都有相同的关于你的敏感加密信息——但两者都不能完全解锁这些信息。不过,两者都能收集到足够多的信息,以了解总体上是否有过多的年长求职者被拒。
“这看起来很神奇,但实现这一点的能力来自于安全多方计算,这是最近开发出来的一个框架,”论文的合著者艾德里安?韦勒(Adrian )解释道,他是提出该研究思路的伦敦图灵研究所(Alan Turing Institute)的人工智能(AI)项目主任,也是剑桥大学(Cambridge)机器学习领域的研究员。“假设一个房间里有10个人,我们想弄清楚谁是最年长的,但大家不用透露年龄。你可以给每个人的年龄加上随机噪音,到最后,算法就能得出结果。”
这项研究意义重大,因为它是一种在保持隐私的同时、维护公平和透明的高效计算方法。用户不需要泄露敏感信息——而监管者可以在不知道算法原理的情况下,审查算法是否存在偏见。研究小组在真实数据集上试验了这种方法,包括一种信用评分算法和美国的一种罪犯剖绘算法。2016年,美国新闻机构ProPublica对后一种算法进行了调查,该算法简称Compas。ProPublica总结道,当Compas出错时,这些错误过于偏向对黑人罪犯不利(更多误报,从而错误将他们归类为具有再犯罪高风险的罪犯),但偏向对白人罪犯有利(更多漏报)。
这就引出了一个关键问题:对公平与否的审查需要在计算领域有一个关于“公平”的定义。Compas的研发者否认该算法存在偏见的指责,因为该算法估计黑人和白人群体中再犯罪者的比例大致相当。ProPublica则说,该算法的偏见源于它会误判,黑人比白人更容易被错误地认定为潜在罪犯。哪种“公平”更胜一筹:总体的准确性,还是犯罪的不同种族群体被平等对待?这是一个紧迫的问题:根据普林斯顿大学(Princeton)计算机科学家阿尔温德?纳拉亚南(Arvind Narayanan)的说法,公平至少有21种定义。法律学者也加入了这场论战。消除算法偏见的想法也许不过是幻想。相反,社会也许需要选择哪些偏见是可以容忍的。
-电子元器件采购网(www.ruidan.com)是本土元器件目录分销商,采用“小批量、现货、样品”销售模式,致力于满足客户多型号、高质量、快速交付的采购需求。自建高效智能仓储,拥有自营库存超过50,000种,提供一站式正品现货采购、个性化解决方案、选型替代等多元化服务。