楼主: wx2123
跳转到指定楼层
上一主题 下一主题
收起左侧

如何跳出线性模型的能力圈?

🔗
 楼主| wx2123 2020-6-27 00:05:58 | 只看该作者
全局:
halfpipe 发表于 2020-6-26 10:50
不太确定我理解了老哥想表达什么,
但是我觉得模型永远是对实际情况的逼近。
也许某个模型对某种情况模拟 ...

对,我就是这个意思:)
回复

使用道具 举报

全局:
wx2123 发表于 2020-06-26 09:05:58
对,我就是这个意思:)
哈哈哈 感觉industry就是,有些行业需要high accuracy 有些需要good explanation 具体业务具体分析吧。
回复

使用道具 举报

🔗
BobbyBear 2020-6-27 02:45:43 | 只看该作者
全局:
hateT 发表于 2020-6-26 11:41
能解释一下什么叫在SQL Server里面跑XGBoost吗? 正常情况下数据的清洗和处理和模型建模应该是解耦的吧, ...

线性模型最后只需要输出几个coefficients就完了,把这些参数hard coded到sql query里面,这样sql server就可以当production engine了。XGBoost的模型自由度显然远高于linear model,没法用这个办法用sql server作production engine。XGBoost我也不是特别熟,我主要是用H2O。在H2O里可以把模型保存为jar, 然后作为Hive里的UDF运行。
回复

使用道具 举报

全局:
好啊,支持楼主继续讲!!大米已献上!!👍
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 04:27:23 | 只看该作者
全局:
题目:非线性的多项式回归模型

我们知道,线性回归模型可以用下式表达:. .и

y_i=β_0+β_1 x_i+ϵ_i (原来地里可以这样写公式啊,奇迹!)

对这个模型稍作改动,加入x的平方项以及立方项等等,就可以得到多项式回归的表达式:

y_i=β_0+β_1 x_i+β_2 x_i^2+β_3 x_i^3+⋯+β_d x_i^d+ϵ_i (再次震惊可以这样写公式!)

这样一来,我们就可以把线性关系升级为非线性关系。这就有可能让拟合出来的曲线更加符合实际情况。当x的幂d足够大时,多项式回归就可以用来拟合“非常”非线性的关系。

我们可以用线性回归中的最小二乘法估算出多项式回归中的各个系数。这其实和拟合线性回归没有区别,只不过是y和x的平方项,立方项等的线性关系。

不过,一般说来,当我们使用多项式回归的时候,d的只不会超过3或者4。这是因为如果d的值过大,即使x很小的变化,也会对y造成很大的变化,从而拟合出一些奇怪的曲线。

我们通过一个例子来说明这个问题。我们先生成一些数据,将其画在散点图中。如图1所示。这个散点图,说是线性关系有点勉强,但是曲线关系也不太强烈。. Waral dи,
图1

(完了,看来贴图是不行的。其实我得微信公众号上有,但是不知道能不能在这里说). Waral dи,

我们看一下线性回归模型拟合出的曲线,如图2所示。当然这其实是一条直线。即使我们用肉眼看一下,也能发现这个结果不太理想。如果非要认为是线性关系,那么右上角的两个点只能被剔除了。

图2

那么,我们不妨使用多项式回归。我们可以从最简单的多项式回归开始,先加入平方项,即

y_i=β_0+β_1 x_i+β_2 x_i^2+ϵ_i

图3为拟合的结果。我们知道,抛物线就是平方项结果。这个图表达出了x和y之间先负相关,然后正相关的关系。其RMSE和R^2分别为10.12和39.52%,解释效果一般。

图3 ..

如果我们用3次方来拟合,也就是

y_i=β_0+β_1 x_i+β_2 x_i^2+β_3 x_i^3+ϵ_i. .и

那么,拟合的结果如图4所示。这个图不但包括了图3中的关系,还增加了在x<0时的一段正相关关系。这就比图3更加精确了。事实上,这个模型的RMSE为3.45,R^2为92.97%。。这也说明了增加3次方项能更好地解释数据。
图4

我们把x的幂增加到20,也就是使用如下模型:

y_i=β_0+β_1 x_i+β_2 x_i^2+β_3 x_i^3+⋯+β_20 x_i^20+ϵ_i

拟合出的结果如图5所示。虽然RMSE=2.79,R^2=95.38%,但是我们难以解释拟合结果。这就产生了过度拟合(Over-fitting)的问题。

图5.--

可见,凡事都有个极限,过犹不及。. Χ

(本文的图贴不上来,效果欠佳啊!我得公众号上有原文,感兴趣的朋友可以联系我。)
回复

使用道具 举报

🔗
kittycerry 2020-6-27 05:00:30 | 只看该作者
全局:
wx2123 发表于 2020-6-27 04:27
题目:非线性的多项式回归模型

我们知道,线性回归模型可以用下式表达:

喜欢这种文章,公众号是什么?这里不能说了会被系统吞掉是吗?
回复

使用道具 举报

🔗
novavistamn 2020-6-27 05:46:05 | 只看该作者
全局:
实际工作中都是扔进random forest里完事了
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 06:04:29 | 只看该作者
全局:
BobbyBear 发表于 2020-6-26 13:45
线性模型最后只需要输出几个coefficients就完了,把这些参数hard coded到sql query里面,这样sql server ...
.google  и
我好像也在用H2O, 跑程序时候看到的。具体H2O是啥我还没搞清楚,给讲讲啊!
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 06:07:00 | 只看该作者
全局:
kittycerry 发表于 2020-6-26 16:00
喜欢这种文章,公众号是什么?这里不能说了会被系统吞掉是吗?

这不是明显跑到地里拉客吗,呵呵。微信公众号是:健谈始于戊戌年。看看会不会被系统吞掉:)
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 06:10:35 | 只看该作者
全局:
halfpipe 发表于 2020-6-26 12:42
哈哈哈 感觉industry就是,有些行业需要high accuracy 有些需要good explanation 具体业务具体分析吧。

能自圆其说很重要,呵呵
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表