一亩三分地

 找回密码 注册账号

扫描二维码登录本站


Salarytics=Salary Analytics
查询工资数据
系统自动计算每年收入

科技公司如何
用数据分析驱动产品开发
coupon code 250off 立减$250

深入浅出AB Test
从入门到精通
coupon code 250off 立减$250
游戏初创公司招聘工程师、UIUX Designer和游戏策划
坐标湾区
DreamCraft创始团队
招聘游戏开发工程师
把贵司信息放这里
查看: 3826|回复: 15
收起左侧

苹果信用卡歧视女性?亚马逊在简历筛选中歧视女性?当AI学会了性别歧视。

[复制链接] |试试Instant~ |women in stem
我的人缘0

分享帖子到朋友圈
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   98% (349)
 
 
1% (6)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
亚马逊的 AI 招聘工具触动了人类敏感的神经,据路透社报道,亚马逊机器学习专家发现他们的 AI 招聘工具有一个明显的倾向——在筛选简历过程中,重男轻女。
这事得追溯到 2014 年,亚马逊那会儿便开始尝试用人工智能筛选简历,帮助公司挑选出合适的员工。对于一个大公司来说,筛选简历是一项浩大的工程,每天的面试者可能来自五湖四海,要从堆积如山的简历中挑选出面试者的优点,并确认其符合公司标准,难上加难。不仅耗费精力,还很花时间。

不用我赘述,我想面试经验丰富的人应该对一些大公司的面试周期记忆深刻。 . 1point3acres

通过系统的机器训练,让 AI 代替 HR 筛选简历,无疑能帮助公司节省大量的劳动力,并且更有效地挑选出合适的人才。万万没想到的是,亚马逊的 AI 却戴上了有色眼镜。

类似人类的情感倾向出现在了 AI 上,本身就有悖于人类训练 AI 的目的。我们希望人工智能是中立、结果导向的,甚至在理性的前提下,会带有一丝无情。

好在亚马逊自己也发现了这个问题,去年已将负责该项目的团队解散。

人工智能“性别歧视”的起因

在亚马逊 AI 招聘歧视事件的最后,大家把问题归咎于人工智能训练样本上。因为在具体的训练方法上,亚马逊针对性开发了 500 个特定职位的模型,对过去 10 年的简历中的 5 万个关键词进行识别,最后进行重要程度的优先级排序。

因此简单来说,AI 的工作还是抓取关键词。然而在这些简历中,大部分求职者为男性,他们使用诸如“执行”这样的关键词更加频繁,而女性相关的数据太少,因此 AI 会误以为没有这类关键词的女性简历不那么重要。



图源 reuters

类似的事情同样发生在了 Google 身上。早在 2017 年,Quartz 报道了一篇题为《The reason why most of the images that show up when you search for “doctor” are white men》的文章,如果你在 Google image 上搜索”doctor“,获得的结果中大部分都是白人男性。

一项来自普林斯顿大学的研究表明,这一搜索结果与潜在的社会现状有关。在普通人眼中医生总是与男性相连,而护士总是与女性相连。

“正如一些数据科学家所言,什么样的输入就有什么样的产出,没有好的数据,算法也做不出正确的决策。”

Google 意识到了这一点,调整了搜索算法。目前“doctor”的搜索结果中,女性与男性的比例基本平等。



现在的搜索页面经过优化,并有多种搜索可选项
. From 1point 3acres bbs
人工智能发展到现在,应用到实际的时间并不长。如果把它比作婴儿,那它的成长有很大一部分依靠人类给予的养分与教育。人工智能在机器训练的过程中,所输入的数据便是养分。科学家尽力将算法调整到中立、客观,但最终影响其输出的还是数据。

即使数据中出现了一个小的偏差,人工智能的最终行为也会将这个偏差放大。人类获得的结果便是“歧视”——我们如何看待社会,人工智能也会以相同的视角去看待社会。这一情况属于普遍现象,其涉及到的不仅是技术问题,更是一个巨大的哲学问题。

今年七月份,微软同中国发展研究基金会发布了《未来基石》报告。报告涵盖了两家机构对人工智能的思考。例如微软在人工智能的开发中,将遵循六个道德基本准则,以创造“靠谱”的人工智能。

在微软的人工智能产品中,曾出现了聊天机器人小冰爆粗口的情况,同样是源于训练数据库的影响。经历该事件后,微软修改了小冰的对话原则,并加强了对数据库的过滤。但实际上仍然无法百分百避开数据库中不健康的信息。



图源 PConline

想要训练出更靠谱的人工智能,用户同样是很重要的力量群体。

AI 还有其它偏见

与其说人工智能对这个世界有偏见,不如说是认知偏差。其算法本身是没毛病的,但经过算法处理的数据则是具有人类社会的特点的,因此人工智能行为也带了人类的色彩。

这一点在不同的行业、不同事物的类型、甚至不同的文化与国家,都有各自的体现。
. 1point3acres
例如提到厨房里的人,我们通常脑海里会浮现出一名家庭主妇的形象,传统的观念即是如此。这种观念由社会现状决定,人类取用的数据由社会现状决定,而人工智能的认知由数据决定。

因此当一张男人站在厨房里的照片经人工智能识别之后,它极有可能会把男人看成女人。
. check 1point3acres for more.
. 1point3acres
图源 果壳网. From 1point 3acres bbs

这是赵洁玉和她的导师文森特·奥都涅茨研究的课题。果壳网《当人工智能“学会”性别歧视》一文里,详细描述了他们研究课题的过程。最终发现把男人看成女人并不是程序 bug,而是因为数据库的偏差。

除了厨房这个特定环境,他们还发现在照片中“做家务、照看小孩子的就被认为是女性,开会、办公、从事体育运动的则是男性”,有时候我们会发现人工智能识别的结果令人哭笑不得,但究其原因却又情有可原。

又如人工智能会将印度海得拉巴的印式婚纱错认为中世纪的锁子甲,只因为在其训练的数据库中,欧洲的数据更丰富,而来自第三世界的信息少得可怜。这对于部分少数群体是极不公平的。

另一个相似的例子是,2015 年 Google Photos 将黑人标注成了大猩猩。虽然 Google 及时道歉并更正了算法,但从侧面来看,人工智能仍然受提供的数据中的一般特征影响。它会将数据中的一般特征误认为整个世界的普遍特征。




事件过去三年,尽管算法已经相对更加成熟,数据库更加丰富,人工智能的坏毛病还是无法根治。据英国镜报报道,用户在使用 Google 翻译时,结果里出现了令人毛骨悚然宗教话语,在某些小语种下,特定的重复词组会被 Google 翻译成带有宗教色彩的话语。

其缘由可能是 Google 翻译在某些小语种的学习上,使用了圣经——这一全球最为广泛翻译的数据——作为训练模型,从而导致该情况发生。在经过报道之后,Google 修复了这个 Bug。

一个不得不接受的事实是,人工智能的偏见与小毛病将伴随着它的成长。

题图来自 BGR

文章来源:品玩
链接https://www.pingwest.com/a/178381

2019年11月11日消息,据美国媒体报道,苹果公司联合创始人史蒂夫·沃兹尼亚克(Steve Wozniak)日前指责苹果信用卡背后的算法存在性别歧视,这导致用于设定新型苹果卡信用额度的算法将接受官方调查。




这一风波始于上周四,当时企业家大卫·海涅迈尔·汉森(David Heinemeier Hansson)在Twitter上发了一系列帖子,抨击苹果信用卡授信制度,称苹果给他的信用额度只是妻子的二十分之一。

汉森是Web应用框架Ruby on Rails的创始人,他没有透露自己或妻子任何与收入相关的具体信息,但他在Twitter上表示,他们共同提交纳税申报单,但他妻子的信用评分更高。

周六沃兹尼亚克表示,类似的事情也发生在他身上,他所持有的苹果信用卡信用额度是他妻子的10倍。
. 1point3acres
“我们没有开设单独的银行或信用卡账户,也没有任何独立的资产。不过很难找到人来纠正。”沃兹尼亚克在Twitter上回复了汉森的原始推文。
. check 1point3acres for more.
纽约金融服务部表示,将对高盛的信用卡业务展开调查。

“纽约法律禁止歧视受保护的个体类别,这意味着与任何其他确定信用额度的方法一样,算法也不能基于年龄、宗教信仰、种族、肤色、性别、性取向、国籍,或其他受保护特征确定不同的信用额度。”纽约州金融服务局局长琳达·兰瑟威尔(Linda Lacewell)指出,“我们知道算法决策中的歧视问题也延伸到了金融服务的其他领域。”

今年8月,苹果与高盛集团合作推出了备受期待的钛金信用卡。苹果制造商表示,该卡将与苹果用户的苹果钱包同步,并可用于打折购买苹果产品。

来源:网易科技报道. 1point3acres
链接:https://www.51credit.com/info/redian/14381.html
. 1point3acres
看了以上报道,AI并没有让偏见的数据消失反而是强化了这个偏见,这让人细思极恐。

这真的值得科技公司深思,就像机械公敌里的机器人三大定律的逻辑是非常完美的,但是人类不完美;三大定律是不矛盾的,但是人类的行为自相矛盾。人类都死了,自然就不会再受到伤害了。杀死你,一样是一种保护。

那么如果AI的偏见无法消除最后的世界会变成什么样?



补充内容 (2019-11-14 11:52):. 1point3acres
网易科技报道有偏差

以下内容来自36氪部分节选

11月7日,科技企业家、web应用框架Ruby on Rails创始人大卫·海涅迈尔·汉松(David Heinemeier Hansson)在Twitter上分享了一个令人不安的故事。

大卫称,苹果信用卡歧视他的妻子杰米·海涅迈尔·汉松(Jamie Heinemeier Hansson)。大卫说,他和妻子杰米一起申请了苹果信用卡,但是他获得的信用额度却是妻子的20倍,即便夫妻两人共同报税,且妻子的信用积分更高。

当他们联系苹果客服时,苹果客服代表将造成两人信用额度差异的原因归结于黑箱算法,然后将杰米的信用额度提高到了大卫的水平,没有索要更多资料。

随后,大卫的这条推文在网上疯传,包括苹果联合创始人史蒂夫·沃兹尼亚克(Steve Wozniak)在内许多其他人也表示,他们也在申请苹果信用卡时遭遇了类似经历。沃兹尼亚克称,他的苹果信用卡额度是妻子的10倍,即便他们共享所有银行账户和资产。

链接:https://36kr.com/p/5265231

评分

参与人数 2大米 +12 收起 理由
whdawn + 10
zpinthehouse + 2 很有用的信息!

查看全部评分


上一篇:DataVisor CEO谢映莲:硅谷才女出走微软去创业,率公司完成4轮超4亿融资 zz
下一篇:请大家注意GHC之后收到的骗子诈骗邮件!
我的人缘0
jasonusaco 2019-11-14 16:56:51 | 显示全部楼层
本楼: 👍   93% (43)
 
 
6% (3)   👎
全局: 👍   94% (556)
 
 
5% (34)    👎
等AI学会了政治正确估计男的就得靠边站了

评分

参与人数 7大米 +10 收起 理由
杨超越 + 1 赞一个
JeanWu + 3
Gundam_Exia + 2 太秀了
painting + 1 赞一个
sssky + 1 赞一个
li391566217 + 1 赞一个
yz9 + 1 秀儿

查看全部评分

回复

使用道具 举报

我的人缘0
juggernaught 2019-11-15 08:38:19 | 显示全部楼层
本楼: 👍   100% (29)
 
 
0% (0)   👎
全局: 👍   91% (566)
 
 
8% (51)    👎
你想招一个5年经验的经理,并使用了AI筛选简历
市场上5年经验的经理男女比例 8:2, AI筛选出来是8:2, 怎么看也不是AI歧视啊……能怪AI吗?

评分

参与人数 1大米 +3 收起 理由
happyPenguin + 3 给你点个赞!

查看全部评分

回复

使用道具 举报

我的人缘0
happyPenguin 2019-11-15 05:20:23 | 显示全部楼层
本楼: 👍   100% (11)
 
 
0% (0)   👎
全局: 👍   93% (389)
 
 
6% (28)    👎
训练样本应该反映真实情况。比如基于真实的现有员工/申请者的性别比例、种族构成、年龄结构等等来训练模型,使得模型能够客观反映公司的真实招聘需求。这个自动简历筛选机器人的目的是用来帮助筛选的,而不是用来纠正或者改变一些什么东西的。其他的诉求有其他的途径去发声,如果简历筛选AI却是客观反映了真实状况、尽到了职责,就不必要让它背锅。
回复

使用道具 举报

我的人缘0
本楼: 👍   100% (9)
 
 
0% (0)   👎
全局: 👍   94% (1581)
 
 
5% (98)    👎
看了地里大部分的人的理解。。越来越感觉开设fair ML课程 或者至少把fairness作为一个章节加到ML课程里的重要性。。推荐一本书
https://fairmlbook.org
总结了大部分这三四年来fair ML的经验。。认为这些model “这样就好” 的人有心情可以看下。。
回复

使用道具 举报

我的人缘0
endle 2019-11-15 15:57:44 | 显示全部楼层
本楼: 👍   100% (3)
 
 
0% (0)   👎
全局: 👍   97% (42)
 
 
2% (1)    👎
感觉这样的AI很可能陷入一个自我增强的循环。。。因为训练集的问题,各类偏见被引入了model,并在使用model(如过滤简历)的过程中增强了这一现象
回复

使用道具 举报

我的人缘0
jasonusaco 2019-11-15 09:09:16 | 显示全部楼层
本楼: 👍   33% (1)
 
 
66% (2)   👎
全局: 👍   94% (556)
 
 
5% (34)    👎
ivyandme 发表于 2019-11-15 00:09
所以所有事物都要走极端吗?难道不可以扩大样本增加多样性吗?

这叫日中则昃,月满而亏,两边极端走完了才会回到平衡点,就像这两年女权之所以整的那么夸张,还不是因为之前上百年上千年的压迫和不公造成的,反弹效果自然不是小风小浪
回复

使用道具 举报

我的人缘0
本楼: 👍   100% (3)
 
 
0% (0)   👎
全局: 👍   98% (349)
 
 
1% (6)    👎
jasonusaco 发表于 2019/11/14 16:56:51
等AI学会了政治正确估计男的就得靠边站了
所以所有事物都要走极端吗?难道不可以扩大样本增加多样性吗?
回复

使用道具 举报

我的人缘0
Ribosome_25 2019-11-16 09:36:23 | 显示全部楼层
本楼: 👍   100% (2)
 
 
0% (0)   👎
全局: 👍   90% (9)
 
 
10% (1)    👎
hh 这明显是训练集不平衡啊
回复

使用道具 举报

我的人缘0
本楼: 👍   50% (1)
 
 
50% (1)   👎
全局: 👍   98% (349)
 
 
1% (6)    👎
Kimcindy 发表于 2019/11/15 02:32:31
一个是妻子的十倍一个是妻子的二十分之一。怎么看出歧视的?
这篇文章写反了。我会找过一篇正确的文章。
回复

使用道具 举报

我的人缘5
wwtpcsuper 2019-11-16 01:24:27 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   96% (1019)
 
 
3% (42)    👎
有些明显是bias,但是有些cannot tell。。可能是Simpson paradox.
回复

使用道具 举报

我的人缘0
今天刷题了吗 2019-11-15 00:49:07 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (313)
 
 
3% (11)    👎
ivyandme 发表于 2019-11-15 00:09
所以所有事物都要走极端吗?难道不可以扩大样本增加多样性吗?
. From 1point 3acres bbs
正是因为样本很大,而且大部分样本都是有偏差的(并非完全客观的样本)所以AI才会越来越极端
回复

使用道具 举报

我的人缘0
Kimcindy 2019-11-15 02:32:31 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   100% (49)
 
 
0% (0)    👎
一个是妻子的十倍一个是妻子的二十分之一。怎么看出歧视的?
回复

使用道具 举报

我的人缘0
Eric_SU 2019-11-15 06:59:20 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   97% (125)
 
 
2% (3)    👎
jasonusaco 发表于 2019-11-14 01:56
等AI学会了政治正确估计男的就得靠边站了

等AI学会了政治正确估计人类就得靠边站了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://pay.1point3acres.com/tools/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版||一亩三分地

GMT+8, 2019-12-12 14:51

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表