📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 1362| 回复: 5
跳转到指定楼层
上一主题 下一主题
收起左侧

请教大家一道ML面试题

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
看面经看到一个题不知道怎么回答,想要请教一下大家,没有更详细的描述了,楼主转行完全不知道这个题的考点在哪里,应该是属于advanced machine learning的范畴,请大家提供一下思路,谢谢!
Salary data about users (user voluntarily submit their salary and they may submit a salary lower/higher than their real salary; bonus and stocks are not included into their salary. Both of those cause the data imperfection.)
Data imperfection. What linear model to use?
. Χ

上一篇:da/ba/ds方向留学生组队找工作
下一篇:python数据分析如何output to pdf?
全局:
首先引用一句 “All models are wrong, but some may useful”
首先楼主要知道最后要预测的结果是什么 然后采用在采用不同的模型。 基于你的描述来看
第一点,工资是自愿提交 并不是randomly selected 所以这个变量是 biased,所以不管什么模型时候都是有误差的。
我们可以用permutation test 检测 因为样本是observational study not randomization
第二点,这个股票和分红并不计算在内,我一开始的想法是如果每一个obs都不包含stock 和bonus的情况下,这是不能算作有偏的。 但是如果说因为每个人的工作不同,级别不同,如果不加上股票和分红会导致,本应该高收入人群最后输入到模型中变成中等收入,这样思考的话,不计算股票分红切实会使得模型有偏。 然而你的数据不可能只有salary 作为predictor (也可能是response) 也一定有其他的变量 其中有的变量可能与股票分红 有multicollinearity关系 你也可以用它取代 并加以说明 或者根据其它客观存在的关系 generate a new variable.
其实从第一点,我们就知道这模型绝b不准,但是如果采样成本过大无法重新采集,那么我们要思考如何降低这变量的影响。
首先 随机train/split 减少偏差
如果salary 作为自变量的话我们可以
1.  center and scaled
2. check non zore variance
3. binning 然后给予不同的weight。
如果作为应变量,那么我们可以检查模型的residual plot 如果非正太分布,可以采用不同的transformation。 (也可以binning 然后smote 因为data imbalanced 做一个multi output regression, 这是我刚想的 我没这么干过).google  и
其实一切都已降低变量的偏差为中心,至于采用模型要看实际情况,最重要的是模型的解释. 此外没有足够大的样本,不需要ML模型,因为根本没啥差别。

如果大家有其他的建议或者认为不合理的地方,请一定指出来!
谢谢
回复

使用道具 举报

全局:
salary 是 response variable?那得看用户倾向于说高自己的salary还是说低一点。根据一些观察来做model。我觉得一个通用保险的做法就是用t distribution而不是gaussian做noise。bonus和stock也要预测?可以用zero inflated model。欢迎交流
回复

使用道具 举报

全局:
这难道不是一个经典的统计学anti pattern?你把知乎上收入统计一下就发现我国人均收入百万。
回复

使用道具 举报

🔗
阵雨 2022-5-19 00:11:07 | 只看该作者
全局:
Generalized Linear Models?
回复

使用道具 举报

全局:
measurement bias
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表