聊聊大数据的前生今生

zhong950419 发表于 2022-8-15 11:11
不是大佬，只是个人看法

1. datalake不就是分布式储存引擎+分布式计算引擎+别的吗，我下面说的那种每个组 ...

感谢！
第二个问题其实是想问
-  支撑 ML training 的海量数据，现在都在用什么类型的数据库 （或 warehouse ）进行管理。

想问问楼主对data mesh的看法

daydreamerlee 发表于 2022-08-15 11:43:58
感谢！
第二个问题其实是想问
-  支撑 ML training 的海量数据，现在都在用什么类型的数据库 （或 warehouse ）进行管理。

对ML不是很了解。但就我了解的来看因为OLAP要做额外的denormalization schema design 所以很多数据不处理并不适合于ML。很多产品focus的DS应该会更喜欢用ODS中的数据。所以有的企业现在的做法是数据从数据源拿到 s3这种地方做ods 再放到MPP里面的denormalize schema里面。而DS会更倾向于从ODS层拿数据用spark这种计算框架来算

@Lofman 快来抱大腿。
Teradata曾经在芬兰有技术员工的，现在估计只剩销售了。

感谢楼主分享，其实楼主的意思很明确了： 大数据能做的都做了，在泡沫破裂之前跳槽走人咯

匿名用户 发表于 2022-08-15 13:42:36
感谢楼主分享，其实楼主的意思很明确了： 大数据能做的都做了，在泡沫破裂之前跳槽走人咯

我绝没有这个意思，现在无数传统企业和小中企业还有无数可以做的东西，就算是技术最领先的科技企业有几个能做到分析师一句话然后可以瞬间出想要的报表？就算是大公司也太多可以做的了。这篇文章只讨论技术的轮回和个人这几年的一点感悟而已。

个人感受到另外一个点，就是现在一些企业觉得用云服务的成本比自建/租传统DC的成本高很多，高到不足以弥补为此产生的收益。

tombbmot 发表于 2022-08-15 14:47:17
个人感受到另外一个点，就是现在一些企业觉得用云服务的成本比自建/租传统DC的成本高很多，高到不足以弥补为此产生的收益。

my 2 cents
我觉得这个主要和生产力有关，自建dc可能看上去便宜，但是并不一定适合每个企业。举个例子，下面这几个问题对传统企业都是大问题
. .и
1. DC的人力成本很高。维护一套DC需要为数不少的工程师，比如网络，运维，还有自己的infra，一个组每年花的钱2M估计都打不住
2. 自建DC的话如果遇到一些高峰或者错误很蛋疼，如果是简单的1:1灾备，等于dc里面必须要有一半的机器闲置，这也是很大的成本

当然如果是互联网小公司似乎上面的问题都不太存在，可能他们适合自己搞个小机房

先马再看

好奇一下，lz已经有了这么多对大数据行业的积淀，为什么要离开这个行业呢？以及接下来准备做什么方向？