有用数据挖掘挖出有价值的孩子吗？

嗯，我表示我做了5年伪数据分析。
基本是用excle的。big data 是基础，是你可以进一步发现问题的基础。重要的是你怎么去挖掘，这除了你计算机能力强之外，还要你的头脑和敏锐度（或者是对你了解的事物的敏感度），我们现在很多是在收集data，但是没有真正去好好挖掘。
你拥有全世界的数据不等于你就能赚到全世界的钱~~

这个有时候也是靠运气，许多时候数据帮不上什么大忙是真的。但是如果一个人足够敏锐还是能挖掘出来什么的，只不过结论没有那么有用罢了。
数据证明了常识有没有用？可能没有什么用，但至少证明了常识是对的，这个就很不错。因为常识不是每次都对的。如果数据分析的结论过于偏离常识，会证明这个数据分析是有问题的。这个在实际工作中屡屡碰到。
要不要上大数据分析？如果这个数据是公司的核心业务相关的，那肯定也是核心资产。如果这个数据仅仅只是锦上添花，的确没有什么用。还是需要衡量cost effective这方面。
面对大数据，其实很多情况下，只要恰当的进行sampling，也是可以得出可靠的结论的。统计理论里也有很多的对误差的分析。但现在的技术已经可以不用请一帮学统计的人设计严谨的sampling的方案了，这也算是大数据带来的进步吧。

因为真正懂的人不多，而且业界需要新风口。

很有用的信息，给你点个赞！！！

jane1988 发表于 2017-3-2 11:20
嗯，我表示我做了5年伪数据分析。
基本是用excle的。big data 是基础，是你可以进一步发现问题的基础。重 ...

膜拜大佬

jliu 发表于 2018-10-23 23:52
这个有时候也是靠运气，许多时候数据帮不上什么大忙是真的。但是如果一个人足够敏锐还是能挖掘出来什么的， ...

大佬大佬，说的很对~~~

readman 发表于 2014-2-18 12:30
Kaggle的数据过于规整。 完全是学术的。

实际操作中， 很多数据根本不是那么有分析价值的。 或者， 你 ...

有道理，感谢大佬！

readman 发表于 2014-2-17 07:14
是的.
你见过个人拿到过有价值的,"BIG" data 的么?
现在公司都把数据看做生命..能挖早自己挖了, 小伙伴想 ...

顶你，说的很对！！

yi 好老的帖子

insight 不是来自运气，是来自系统的（systematic ）hypothesis driven, problem solving
需要深刻的理解具体应用场景
需要理解数据的来源，采集方式的具体含义
然后才是运用一定的方法(technique)去找到有用的东西
各种compute/storage方面的进步，其实是
1 让 mining the data for business insights变得容易(analytics)，让评估变得容易（inference)
2 让机器学习直接改变business模式/给用户体验直接带来改变(machine learning，就是ranking, 推荐，image, text, audio video 方面的应用等等)

2 的方面，因为可以直接带来商业价值，所以被研究的比较多，有很多很多成功案例，也是发展很集中的领域。

1 么，的确同意，简单的reporting为主，为分析而分析太多，而洞见太少

前文提到的confirm已知想法的问题是这样的：如果得到了未必常识和已有想法的insight，也一般难以说服decision maker，这个insight就等于没有卵用。

亲身经历的例子：
1. 无数分析和实验证明，某新feature，用户就是不喜欢，因为价格太高。但是老板逼格高，死都听不进去，非要从其他地方拉资源完美支持这种项目。
2. 无数分析和无数轮iteration证明某新feature没有良好adoption，用户不喜欢。但是老板坚信这个方向能成。于是不但不转换方向（pivot）寻找更好的解决办法，而是一再在同一个方向reinvest，延误时机。
3. Eng一批人分析了某烧钱的方案无法有良好回报，于是decision maker再发给Product org 第二批人重新分析。第二批人也得到一样的结论，于是decision maker干脆从企业外面花钱找了合同工来分析，直到得到能验证原本想法的结论为止。然后项目如期上马，果然如同前两批人分析的一样，烧钱而且无用，惨败。
LOL

另外见过有价值的数据分析，经常不是什么大数据的深度分析，而是
- 深度结合应用场景的，非常简单的分析（count and sum) 已经非常有用
- 深刻的洞见有时候来自用到别人没有想到要去看的数据源

目前业界其实鱼龙混杂（绝大部分不是龙），除了FG这种公司，绝大部分的地方也用不到什么fancy的东西
back of the envelop 的分析所改变的商业方向，恐怕比仔仔细细的regression或者什么复杂的test要多的多了。

重data infra, data eng其实可以unlock更多业务场景，在这个基础上轻分析(analytics) 重生产(productionize)，个人觉得ROI要高的多。
让有商业理解的business analyst能快速拿到需要的数据和报表就可以了
有几个executive真的能听得进去跟自己意见不一样的insight呢....