📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 2148| 回复: 1
跳转到指定楼层
上一主题 下一主题
收起左侧

大数据和中小数据在具体分析技术上有何区别?

🔗
CBC | 只看该作者 |倒序浏览
全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
用regression 举例,一般统计分析建一个线性model 就是那么几步:Data collection and preparation (collect data,preliminary checks, remedy measures),Reduction of number of predictor variables (forward step regression, AIC,SBC, Mallow-C), Model refinement and selection ( investigate curvature and interaction effects, study residual and other diagnostics),Model validation. 所用的软件就是SAS或R。 如果是模式识别用到logistic regression, neural network 什么的。
这是对一般统计中的中小数据而言的,那么在大数据中分析方法会有何不同?

上一篇:Econ本科,对于data science的申请和出路的一些疑惑,新人求指教
下一篇:有人了解usc的analytics项目么?求给意见
🔗
modifiedname 2014-8-24 12:37:12 | 只看该作者
全局:
for 1, big data is too big to fit into memory, i.e. you can't fit even a simple linear regression straight from R. 1point3acres.com

2.
big data != bigger in size.. .и
other than "volume", big data also has "variety and velocity", the base R itself dont handle either one well. there are packages that can deal with lots of data quickly. For SAS, i think couple of yrs ago it's been shown that Revolution R runs faster than SAS.

neither is good at dealing with variety, so far.

not all data comes in "rectangle" shape which readily feeds into your regression model, and due to all 3 v's it is generally better to control the data extraction and cleaning process, instead of relying on sas programmers to clean data for you, as those in pharma would do...

评分

参与人数 2大米 +16 收起 理由
adamzjw + 1 感谢分享!
anonym + 15 回答的很好!

查看全部评分

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表