查看: 1344| 回复: 5
跳转到指定楼层
上一主题 下一主题
收起左侧

请教大家一道ML面试题

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
看面经看到一个题不知道怎么回答,想要请教一下大家,没有更详细的描述了,楼主转行完全不知道这个题的考点在哪里,应该是属于advanced machine learning的范畴,请大家提供一下思路,谢谢!
Salary data about users (user voluntarily submit their salary and they may submit a salary lower/higher than their real salary; bonus and stocks are not included into their salary. Both of those cause the data imperfection.)
Data imperfection. What linear model to use?


上一篇:da/ba/ds方向留学生组队找工作
下一篇:python数据分析如何output to pdf?
全局:
首先引用一句 “All models are wrong, but some may useful”
首先楼主要知道最后要预测的结果是什么 然后采用在采用不同的模型。 基于你的描述来看
第一点,工资是自愿提交 并不是randomly selected 所以这个变量是 biased,所以不管什么模型时候都是有误差的。
我们可以用permutation test 检测 因为样本是observational study not randomization
第二点,这个股票和分红并不计算在内,我一开始的想法是如果每一个obs都不包含stock 和bonus的情况下,这是不能算作有偏的。 但是如果说因为每个人的工作不同,级别不同,如果不加上股票和分红会导致,本应该高收入人群最后输入到模型中变成中等收入,这样思考的话,不计算股票分红切实会使得模型有偏。 然而你的数据不可能只有salary 作为predictor (也可能是response) 也一定有其他的变量 其中有的变量可能与股票分红 有multicollinearity关系 你也可以用它取代 并加以说明 或者根据其它客观存在的关系 generate a new variable.
其实从第一点,我们就知道这模型绝b不准,但是如果采样成本过大无法重新采集,那么我们要思考如何降低这变量的影响。 . 1point 3 acres
首先 随机train/split 减少偏差
如果salary 作为自变量的话我们可以
1.  center and scaled
2. check non zore variance
3. binning 然后给予不同的weight。
如果作为应变量,那么我们可以检查模型的residual plot 如果非正太分布,可以采用不同的transformation。 (也可以binning 然后smote 因为data imbalanced 做一个multi output regression, 这是我刚想的 我没这么干过)
其实一切都已降低变量的偏差为中心,至于采用模型要看实际情况,最重要的是模型的解释. 此外没有足够大的样本,不需要ML模型,因为根本没啥差别。

如果大家有其他的建议或者认为不合理的地方,请一定指出来!
谢谢
回复

使用道具 举报

全局:
salary 是 response variable?那得看用户倾向于说高自己的salary还是说低一点。根据一些观察来做model。我觉得一个通用保险的做法就是用t distribution而不是gaussian做noise。bonus和stock也要预测?可以用zero inflated model。欢迎交流
回复

使用道具 举报

全局:
这难道不是一个经典的统计学anti pattern?你把知乎上收入统计一下就发现我国人均收入百万。
回复

使用道具 举报

🔗
阵雨 2022-5-19 00:11:07 | 只看该作者
全局:
Generalized Linear Models?
回复

使用道具 举报

全局:
measurement bias
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表