2019年 H1B数据挖掘

近期因为有了可怕的新H1B规定所以又燃起了对H1B数据进一步探索的热情。花了十几个小时做了两个Jupyter notebook放在了github上。有些文件太大，需要拆分或者压缩。熟悉数据分析的人应该一看就知道怎么用。做的同时也学习了用folium画地图和用OpenStreetMapAPI直接搜索地址的GPS位置。大多数时间还是花在了清理数据上，由此可见kaggle上一些没有做数据清理的data challenge结果可能并不合理。


https://anonymous.4open.science/ ... -8872-63cc81a95c05/

整体上看H1B的base像是log-normal，中间大约是7w5到10w之间。比较起来美国整体的median wage只有5w多，household income的median不到7w。雇来的外国人还是比美国人挣得多。仔细看h1b的job title会发现有很多奇奇怪怪的你以为不会要外国人的职位（不点出来了以防被喷），还有飞行员和模特。

这里就能看到各个职位的median income，前面几位都是医疗相关的，中间CEO乱入，然后是软件和其他administrative的职位以及更多工程师相关职位。挣得最少的（2w~3w）是farm workers，artists，厨师，作家等。

从地区方面来看湾区按照zipcode画出来的整体图是这样。很明显的是Palo Alto和周边地区工资最高。远处深山里不太知道是有什么工作。

相比之下纽约用zipcode就不太能显示出来具体情况了，毕竟各个厂都集中在一个zipcode里。但是依然能看出来有几个区的median工资比其他区域高

用github里面的数据应该还可以画出来任意地区的zipcode图，在此就不赘述了。

最大的雇主来说，感觉网上英语评论区以及Kaggle里都会说Google Facebook Apple等录用大量H1B员工，但是远没有外包厂们的人多。这里前几名是Cognizant， InfoSys和TATA，然后才是Google。EY,Capgemini和Deloitte怕也是有大量外包业务。Tech厂自然占领了后面不少位置，不过都是几千人的数量级，远不如外包厂上万人的数量级。即便这样，85%的申请人还是“其他”（>6）厂。注意这里parse的数据是Certified而且没有用年份filter，所以一共有近60w条数据。理论上说应该用提交年份进行申请，但是h1b的原始数据是按照处理年份提供的所以这里包括了大量积压（我个人是这样理解的，欢迎指点）

不知大家是不是好奇哪些律师所承接了业务们。Tech大厂似乎都是Fragomen和Ogletree。下面的pie chart就能看出来移民律所了。很多很多case都是个人承办的所以69%都是"Other" 。这些律所打字也都不认真，导致要清理大量数据以删掉LLP L.L.P.这种其实是一个意思的名字。

同样可以看到每个公司用了哪家律所。NVIDIA（这只是for example, 我用A卡打游戏）用的是Fragomen。然后Fragomen最大的客户是亚马逊，然后是HLC和TATA

话又说回来，

您好！
本帖隐藏的内容需要积分高于 8 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式

游客，您好！
本帖隐藏的内容需要积分高于 8 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Unlock interview details and practice with AI
Curated Interview Questions from Top Companies

总体来说的，h1b的数据需要大量的清理。写了三四个小时清理地址和公司名称的regex。以后有机会可以增加对往年数据的支持，parse更多的地址，然后提供更modular的作图功能们。还有就是PERM的数据其实和H1B长得一样，下一步也可以考虑支持。Github里的代码需要解压，有兴趣的朋友可以自己搞，有bug的话欢迎提问。欢迎fork或者直接PR。如果有知道怎么能放在Colab里的话就更好了。这都是后话了...赶紧做社畜去。

祝大家身体健康，希望赶紧把order给block了别惹事。真的是弄的天怒人怨，还让不让人好好干活了..... 能投票的朋友一定记得投票

去年我们也对前几年h1b里data类岗位做了点eda，希望有点帮助。https://waittim.github.io/2019/12/12/h1b-analysis/

楼主厉害了！地里就应该多点这样的帖子！

这是个可以面试时咵天的项目

居然没人点赞？ 我手动来

前排占楼 瓜子饮料矿泉水 楼主辛苦了😂😂我马克了慢慢看

赞赞赞赞赞赞！

有意思，谢谢分享，辛苦了辛苦了！

waittim 发表于 2020-10-10 19:29
去年我们也对前几年h1b里data类岗位做了点eda，希望有点帮助。https://waittim.github.io/2019/12/12/h1b-a ...

不错不错！需要多一些分析的idea们

lz厉害！

学习了，真棒！