编码歧视  Code for Bias,编码歧视 Coded Bias

老外好像很在意自己的生物信息被取样，同时影片中街头的面部识别的成功率也太低了，这么低的成功率按理说不能用来实践。影片的出发点是好的，但眼界过于狭隘，就好像走过头的黑命贵和女木又。动不动就拿主义的帽子乱扣，也能反映出西方社会的媒体还是井底之蛙。中国的古语早有总结，身正不怕影子斜，没做亏心事，不怕鬼敲门，心里怕了，就觉得被歧视了，真够娇气的。

本片是凯西·欧尼尔《大數據的傲慢與偏見》一书的延展。

这是个演算法包围现代公民的时代！演算法在幕后影响着我们生活的各种决定，包括我们上什么学校、能否借到汽车贷款，以及医疗保险必须支付多少保费，愈来愈多判断是由数学模型，而非某些人所做出。这一切看似公平：因为所有人是根据相同的规则评断，不受偏见影响。

对热情的“问题解决者”来说，大数据像仙境，它搜集资讯、再运用数学模型，使我门得以更有效地调配资源、筛选最优的人事物、并做出最好的决定，这些热情的宣扬者更是四处宣传大数据应用的威力。

但是，曾在典型数据分析圈内工作的凯西·欧尼尔不是上述这种人。

她在《大數據的傲慢與偏見》中指出，事实与我们想的恰恰相反！这些数学模型不透明、不受管制，即便出错，受害者往往无法申诉。最令人不安的是，这些模型会“强化歧视”，例如，贫穷学生在申请学贷时，可能因自家的邮递区号，被审核贷款的数学模型视为还款高风险者，因而无法获得贷款……。这类问题会形成恶性循环——奖励幸运儿、惩罚遭践踏的人，创造出危害民主的“有毒鸡尾酒”。

欢迎认清大数据的黑暗面

欧尼尔在《大數據的傲慢與偏見》中揭开对我们人生各阶段有巨大影响的各种黑箱数学模型，不管我们愿不愿意，演算法系统都已经为我们打上“分数”。

当前许多数学模型已经失控滥用、还自作主张地替教师和学生评鉴、筛选履历表、审核贷款、评估员工绩效、锁定目标选民、决定假释名单，以及监测我们的健康状态，决定我们个人及社会的未来。

欧尼尔呼吁：在这个人人都被迫拥有自己在某种演算系统中持有“e化评分”的时代，那些建立模型的人应该为他们所创造出来的演算法负起更多责任，而政策制定者更应该负起监督管理的责任。

这本重要著作使我们得以提出关键问题、揭露这些“数学毁灭性武器”的真相和要求变革。

本片是此书的延展。

法、刑、礼、律……

豆瓣的热评第一把我想说的都说了。这部片子可取的地方在于指出了人工智能潜在的致命缺点，但片子的意识形态性让这部片子本身的意义打了折扣。

机器学习是一个黑盒子，它依照“多即是好”的原理，从历史数据中学习，因此它的学习过程即使对于创造它的程序员来说，也是一个黑盒子。这就导致了人类只是通过人工智能，在全自动化中复制自己的现有形象，没有鉴别，没有提升。就像片中说的，人工智能可以误判，但无法被质疑，也不被要求承担责任；作为一种唯数据论的技术，其设计目的是追求效率。

因此，就基于数据的机器学习本质而言，其产生的算法将不是中立的。因其通常为权势所用（如平台），机器学习其实会造成一种极危险的隐性的编码歧视，这也是片名的由来。

此外，盲目追求效率的一个弊端是人的物化。人被标准化参数所肢解，被片面化标签化。在教育系统，学生为标准化的培养体系和打分系统所评估，作为养料被高校挑选，再经过下一轮标准化的培养，然后作为“人才”输送入社会，被定义成一张张简历，简历再经过算法的筛查，剩下的简历才来到HR手里，再经过各种参数的标准化考核，把人物化为某一价格，体现为薪资待遇。这让我想起了最近的一部职场喜剧《破事精英》里面对绩效的刻画。

除了人的物化，人工智能还通过机械化，迎合并加深了现代社会对客观的追求。这种“机器客观”杜绝了人性的存在。Intelligence without ethics is not intelligence at all. 缺乏伦理道德的人工智能不是智能。人类的主观判断力、决策力、反抗力和拒绝的能力，是人性闪耀的光辉，这里有让我想起了《禅与摩托车维修艺术》中所提倡的“良质”，即不囿于可观察数据和传统主客观二分法的对quality的一种本能判断。

电影主要讲人工智能的算法怎么被用来评估每个人在社会系统中的价值以及其中的问题，即算法会复制甚至加剧这个世界长久以来的偏见，比如比法院会参考一个所谓的“再次犯罪率”的算法给予假释，“科学计算”出有色人种的再犯罪率更高；算法被学校用来评价老师的”附加价值”，被公司用来筛选简历，被银行用来计算信用，结论是女性更容易被AI HR淘汰，且比男性的金融信用差。以下是电影的几个观点：

1）技术到来总伴随着不平均。不平均并不是说有钱人比穷人先拥有技术，而是说更具有侵犯性的技术往往先被用弱势群体身上做实验（在纽约，人脸识别门禁率先被房屋出租公司装在低收入有色人种集中的公寓，并将其制造成一种类似交通摄像头的罚款工具，用监视的图像作为对租户违反公寓楼规定的证据）。

2） 目前人工智能在社会中广泛应用主要有两种模式：一种是维稳，一种是获利。没有一种为自由和平等而存在的算法。

3）只要连接到网络社会，世界上每个人都被算法打着各式各样的分，你在某些系统中看起来更不可能犯罪，但同时，你也会另一些系统中为同样的商品付更多的钱。人们谈到算法监控总爱说中国如何如何，其实本质的不同只是中国对这种监控毫不掩饰而已。

> We are all grappling every day with algorithmic determinism. [...] We are all being scored. The key difference between the US and China is that China's transparent about it.

4）反乌托邦可能最终不会像《1984》所描述的那样实现，而是像现在一样，静悄悄地侵入每个人的生活。哪怕你能躲过看得见的摄像头，看不见的追踪和信息收集软件却难以避免。这些信息会泄漏你的软肋，甚至左右你的决定。（比如给奢赌者推送拉斯维加斯的打折机票，比如Facebook按个人的政治倾向有选择地推送大选投票信息。）

5） 算法设计的奥义是自动化和高效，但很多时候，人性意味着拒绝服从，拒绝系统定义的价值。如果把自动化作为一切问题的终点，在有的情况下会造成非常不人道甚至是毁灭性的结果。

6）人工智能的定义到底是什么？这是值得思考的问题。下棋比人类厉害？会分析数据？社会对于科学和技术的理解其实是由很少数一部分精英定义的，他们大部分都是白人、男人。

7）正义地使用算法是现在最紧要的人权问题之一。

纪录片试图代入国际视野，拍摄了英国、南非、香港、和中国大陆的片段。虽然落脚点是对算法广泛应用的质疑，但关于中国的影像始终是“反乌托邦”式的，即便是所谓的“全世界都被监视着”这一论点也还是中美二元思维。对全球的描绘只能说是对美国现状的注脚而已，分析并不到位。

很喜欢电影里的主要人物、也是算法正义联盟的创建者Joy Buolamwini，她日常写一些短诗送给一起努力的合作者，很有感染力。另外，AOC在国会讨论一节短暂出境。

Joy Buolamwini 在电影中念的一首小诗：

collecting data, chronicling our past, often forgetting to deal with gender, race, and class. again, I ask, am I a woman? face by face, the answers seem uncertain, can machines ever see my queens as I view them? can machines ever see our grandmothers as we knew them?

收集数据，记录我们的过去，总是忘了去考虑性别、种族和阶级。让我再一次拷问，（在你的眼里）我是女性吗？一张又一张脸，你的答案似乎难以确定。机器可以看到我所看到的女王吗？机器可以看到我们所认识的祖母吗？

一些扩展资源：

Weapon of Math Destruction (电影中AJL一员 Cathy O'Neil写的书)

Twitter and Teargas by Zeynep Tufekci (作者在电影中出镜)

Algorithmic Justice League (美国的组织，可通过官网邮件订阅信息)

Big Brother Watch (英国的组织)