一亩三分地论坛

 找回密码
 获取更多干货,去instant注册!

扫码关注一亩三分地公众号
查看: 3576|回复: 29
收起左侧

[研究方向] 于机器学习来说,为什么读计算机比读统计更好?

[复制链接] |试试Instant~ |关注本帖
whoisit 发表于 2016-6-5 22:54:49 | 显示全部楼层 |阅读模式

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?获取更多干货,去instant注册!

x
不好意思,本人小白一个,问的问题可能比较幼稚,见笑了.对于机器学习,我知道统计也很重要,但是说到读哪个专业时,很多大神都说读计算机专业好,但是我觉得计算机那些算法什么binary tree, hash table和机器学习算法SVM, random forest南辕北辙,为什么大家都说读计算机好呢?计算机那些算法复杂度和机器学习有什么关系呢?
qwerty940828 发表于 2016-6-5 23:18:02 | 显示全部楼层
通俗的说,统计只是使用现成机器学习的方法,而这些方法的创造和改进都是计算机做的.鏈枃鍘熷垱鑷1point3acres璁哄潧

补充内容 (2016-6-5 23:20):
机器学习方面,计算机能做统计做不了的事,反过来统计则不能
回复 支持 0 反对 8

使用道具 举报

lha_1313 发表于 2016-6-6 03:59:46 | 显示全部楼层
真是月经贴 回答质量也越来越差

建议读一读这个
https://www.quora.com/How-much-of-machine-learning-is-computer-science-vs-statistics-1
回复 支持 1 反对 1

使用道具 举报

pswpswpsw 发表于 2016-6-13 09:35:36 | 显示全部楼层
leth 发表于 2016-6-13 09:30
大数据的东西,确实Map Reduce的框架很多都不合适,最好是一个算法一个计算框架,这就需要深入学计算机了。 ...

this is true.
. 鍥磋鎴戜滑@1point 3 acres
For example, usually there is no one can find a data scientist job very soon after they graduated with a MS or lower degree, most of them find an BI or DA first, then after five years, they can be eligible for DS.

WHile on the other side of computer science, software developer fresh out-of-the-school can get the salary more than the above positions except for DS. Also, in bay area, still, SE is the largest market much much more than big data.
回复 支持 0 反对 1

使用道具 举报

dennis_szsy 发表于 2016-6-8 00:35:48 | 显示全部楼层
cccpwx 发表于 2016-6-7 20:12
即使这样,换成outlink_list, 一般的8G,16G,32G内存也不够存储这些关系。

chunk,分块读文件

trick多着呢
回复 支持 1 反对 0

使用道具 举报

zpinthehouse 发表于 2016-6-7 03:34:48 | 显示全部楼层
两个方面,统计的phd搞ML也要去学CS里数据存储的东西,也得懂复杂度,懂并行运算。。CS里搞ML的也得懂MCMC,nonparametric什么的。。只是由于在不同的department,氛围不一样,但其实需要掌握的东西越来越接近和融合。。
回复 支持 1 反对 0

使用道具 举报

dennis_szsy 发表于 2016-6-7 04:46:05 | 显示全部楼层
qwerty940828 发表于 2016-6-5 23:18
通俗的说,统计只是使用现成机器学习的方法,而这些方法的创造和改进都是计算机做的. 1point3acres.com/bbs
. visit 1point3acres.com for more.
补充内容 (2016-6-5 2 ...
. Waral 鍗氬鏈夋洿澶氭枃绔,
"这些方法的【创造】和改进都是计算机做的"

楼主所说的SVM, random forest都不是搞计算机的人发明的, 一般人上课所学到的方法,基本上都是搞统计搞数学的人发明的
回复 支持 1 反对 0

使用道具 举报

find_advice 发表于 2016-6-6 17:34:28 | 显示全部楼层
这个问题你不是问过了么……
. 1point3acres.com/bbs
补充内容 (2016-6-6 17:35):. 鍥磋鎴戜滑@1point 3 acres
PhD出来没有任何区别,都是两头堵的
回复 支持 1 反对 0

使用道具 举报

wwk55551111 发表于 2016-6-5 23:09:31 | 显示全部楼层
机器学习不仅仅是要考虑一个问题的解决,还在于解决问题方法的优化。这样的优化往往和算法和计算机的内部构架有关。
例如,在使用ann时,如何降低迭代次数?如何利用异步技术实现机器学习和界面的分离,提高cpu利用率?都是计算机的范畴
回复 支持 1 反对 0

使用道具 举报

上里巴人 发表于 2016-6-6 16:41:28 | 显示全部楼层
曾经和一个统计学教授讨论过,他表示统计学家在设计统计模型的时候,很多人并不是很在乎computation,而这几年数据越来越大,必须要计算机学家加入去考虑计算能力
回复 支持 反对

使用道具 举报

lw_nju 发表于 2016-6-6 22:34:51 | 显示全部楼层
侧重点不一样,以SVM为例,统计学家提出了SVM这么一个模型,但是需要计算机科学家来做出实现比如libSVM这样的,让他能真正work
回复 支持 反对

使用道具 举报

cccpwx 发表于 2016-6-7 02:14:05 | 显示全部楼层
现在很多machine learning的算法都是按照 map reduce的形式来写解决海量数据的问题。跑单机能解决的,自然没必要深入学CS。

回复 支持 反对

使用道具 举报

Mr.Brain 发表于 2016-6-7 04:02:37 | 显示全部楼层
因为CS系也有专门的机器学习的课,基础理论知识也可以学到。
回复 支持 反对

使用道具 举报

zpinthehouse 发表于 2016-6-7 04:26:18 | 显示全部楼层
Mr.Brain 发表于 2016-6-7 04:02
因为CS系也有专门的机器学习的课,基础理论知识也可以学到。

我上过的两个学校的ML/DS课对于找工作来讲还是有帮助的,对于搞ML的research只能算是入门。。搞ML的research那些model课上学不到,CS和统计两方面都需要更深的基础。。
回复 支持 反对

使用道具 举报

lukeutd 发表于 2016-6-7 12:04:59 | 显示全部楼层
cccpwx 发表于 2016-6-7 02:14
现在很多machine learning的算法都是按照 map reduce的形式来写解决海量数据的问题。跑单机能解决的,自然 ...

很多机器学习算法都是按照mr形式写的?我表示质疑。。 我感觉很多算法用mr效率反而提不上= =
回复 支持 反对

使用道具 举报

dennis_szsy 发表于 2016-6-7 12:46:36 | 显示全部楼层
lukeutd 发表于 2016-6-7 12:04
很多机器学习算法都是按照mr形式写的?我表示质疑。。 我感觉很多算法用mr效率反而提不上= =
.鐣欏璁哄潧-涓浜-涓夊垎鍦
不仅是效率
原算法改成mr形式之后往往会从exact estimation变成approximate estimation,estimate结果往往会有问题,需要各种debiase
回复 支持 反对

使用道具 举报

cccpwx 发表于 2016-6-7 13:01:59 | 显示全部楼层
lukeutd 发表于 2016-6-7 12:04
很多机器学习算法都是按照mr形式写的?我表示质疑。。 我感觉很多算法用mr效率反而提不上= =

我说过了,单机能跑得了的,自然不必深入学CS。

举个例子,世界上的网页破万亿了。如果今天要做个pagerank,矩阵就是 万亿×万亿,你怎么给我在单机上多次迭代跑出来一个pagerank的矩阵出来?

. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴矩阵肯定在内存放不下。

回复 支持 反对

使用道具 举报

cccpwx 发表于 2016-6-7 13:08:43 | 显示全部楼层
lukeutd 发表于 2016-6-7 12:04
很多机器学习算法都是按照mr形式写的?我表示质疑。。 我感觉很多算法用mr效率反而提不上= =

kaggle上面的也是做DS/ML,但是数据量小,单机可以跑。那当然是数学算法更重要。
回复 支持 反对

使用道具 举报

dennis_szsy 发表于 2016-6-7 14:37:32 | 显示全部楼层
cccpwx 发表于 2016-6-7 13:01
我说过了,单机能跑得了的,自然不必深入学CS。

举个例子,世界上的网页破万亿了。如果今天要做个page ...

sparse encoding

你没必要存整个矩阵
回复 支持 反对

使用道具 举报

cccpwx 发表于 2016-6-7 20:12:45 | 显示全部楼层
dennis_szsy 发表于 2016-6-7 14:37
sparse encoding. 1point3acres.com/bbs

你没必要存整个矩阵

即使这样,换成outlink_list, 一般的8G,16G,32G内存也不够存储这些关系。
. 鐣欏鐢宠璁哄潧-涓浜╀笁鍒嗗湴

回复 支持 反对

使用道具 举报

fcktg 发表于 2016-6-8 13:19:22 | 显示全部楼层
你找工的话 说实话 不管你是统计的还是CS的ms 纯机器学习的职位都很难找的 毕竟这是个靠经验和学历的职位 但是咧 你读CS的话 CS的编程会比统计多一些 统计的大多用R CS基本都是python或者Java 所以为你招工还是奠定了一定基础的
其实Ph.D的话 很多都是联合培养的 所以没差
回复 支持 反对

使用道具 举报

本版积分规则

请点这里访问我们的新网站:一亩三分地Instant.

Instant搜索更强大,不扣积分,内容组织的更好更整洁!目前仍在beta版本,努力完善中!反馈请点这里

关闭

一亩三分地推荐上一条 /5 下一条

手机版|小黑屋|一亩三分地论坛声明 ( 沪ICP备11015994号 )

custom counter

GMT+8, 2016-12-5 06:28

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表