楼主: wx2123
跳转到指定楼层
上一主题 下一主题
收起左侧

如何跳出线性模型的能力圈?

🔗
vgb 2020-6-27 07:48:29 | 只看该作者
全局:
本帖最后由 vgb 于 2020-6-26 15:52 编辑

就好像说「如何跳出微积分的能力圈?」別少看linear regression
回复

使用道具 举报

🔗
BobbyBear 2020-6-27 08:01:45 | 只看该作者
全局:
wx2123 发表于 2020-6-27 06:04
我好像也在用H2O, 跑程序时候看到的。具体H2O是啥我还没搞清楚,给讲讲啊!
.
你在用然后还没有搞清楚... -_-!!!
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 08:08:50 | 只看该作者
全局:
BobbyBear 发表于 2020-6-26 19:01
你在用然后还没有搞清楚... -_-!!!

. Χ这不奇怪啊。会用电脑不一定懂CPU原理,会用手机不见得懂5G啊,哈哈
回复

使用道具 举报

🔗
kittycerry 2020-6-27 09:33:35 | 只看该作者
全局:
wx2123 发表于 2020-6-27 06:07
这不是明显跑到地里拉客吗,呵呵。微信公众号是:健谈始于戊戌年。看看会不会被系统吞掉:)

去围观了
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-27 10:50:31 | 只看该作者
全局:
kittycerry 发表于 2020-6-26 20:33. Waral dи,
去围观了

欢迎,欢迎。
话说这种文章阅读量过1000了,看来地里的孩子们还是爱学习啊!
回复

使用道具 举报

🔗
kittycerry 2020-6-28 00:46:37 | 只看该作者
全局:
wx2123 发表于 2020-6-27 10:50.1point3acres
欢迎,欢迎。
话说这种文章阅读量过1000了,看来地里的孩子们还是爱学习啊!
. Χ
我只是叫叫,没去看,惭愧了
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-28 02:28:00 | 只看该作者
全局:
vgb 发表于 2020-6-26 18:48
就好像说「如何跳出微积分的能力圈?」別少看linear regression

同意,线性回归的经典地位无法动摇。后人都需要站在前人的肩膀上。
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-28 02:34:11 | 只看该作者
全局:
又写了一点,我也不知道是新发一篇好,还是这样继续回复好。大家凑活着看吧,欢迎拍砖~!
非线性模型之二:分步函数

在多项式回归模型中,我们把整个线性模型改成了非线性模型。但是有的时候, 自变量X和因变量Y之间总的来说是线性关系,只是在局部出现了非线性关系。. Waral dи,

比方说你开车从城市A到城市B,总的来说一路上能保持每小时100公里的速度。但出城和进城的时候可能有点堵车,走走停停,造成了一些非线性的关系。这时候,我们就可以使用分步函数(Step function)。

我们可以把X分成若干段,在每一段中拟合线性模型。这时候,我们把连续型变量,变成了类别型变量。

我们来讲点理论。我们在c1,c2,…,cK这K个点上X分成K+1段,那么我们就获得了
K+1个新的变量,即:

C_0 (X)=I(X<c_1)
C_1 (X)=I(c_1≤X<c_2). From 1point 3acres bbs
C_2 (X)=I(c_2≤X<c_3)
……
C_(K-1) (X)=I(c_(K-1)≤X<c_K)
C_K (X)=I(c_K≤X)

其中,I()叫做指示函数(Indicator function)。如果括号内的条件成立I的值为1,否则I的值就是0。这就是哑变量(Dummy variable)。我们还可以发现,对于X的任意值,都存在以下关系:
C_0 (X)+C_1 (X)+⋯+C_K (X)=1

也就是说X的值只能在K+1段的某一段上,而不可能在两段或者更多段上。

注意,接下来是重点!我们可以用最小二乘法拟合以下模型:

y_i=β_0+β_1 C_1 (x_i)+β_2 C_2 (x_i)+⋯+β_K C_K (x_i)+ϵ_i          (1)
. From 1point 3acres bbs
对于任意值X,C1,C2,…, Ck之中,最多只有一个不是0。不过,当X<c1时,(1)式中所有的beta都是0。那么我们可以把beta0理解为当X<c1时Y的平均值。.

同样,当X介于(c1,c2)之间时,Y的预测值就是beta0+beta1。所以,我们可以认为beta1是X从小于c1到介于(c1,c2)之间时Y预测值的增量。

最后,还要这个方法的问题。不知道大家发现了没有,这个方法并没有告诉我们在哪里划分c1,c2,…ck。这其实也是分步函数的最大问题。
.
不过有的时候,这也不是问题。比方说对年龄分段,我们很容易就会想到按照5年或者10年来划分。在生物统计和流行病学中,总是按照5年划分一个阶段。可见,之所以有这么多的机器学习模型,并不是大家闲来无事,非要编个模型出来。事实上,模型源于生活,而高于生活!
回复

使用道具 举报

全局:
wx2123 发表于 2020-06-26 13:27:23
题目:非线性的多项式回归模型

我们知道,线性回归模型可以用下式表达:
就算加入poly term你这个模型本身还是线性吧
回复

使用道具 举报

🔗
 楼主| wx2123 2020-6-28 02:41:58 | 只看该作者
全局:
lzchu1992 发表于 2020-6-27 13:35
就算加入poly term你这个模型本身还是线性吧
.1point3acres
这看怎么说。说是线性也有道理,因为Y和X^2, X^3...之间是线性。说是非线性也有道理,因为毕竟Y和X之间已经不是线性了。我是这么理解的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表