聊聊大数据的前生今生

lz写得很好。好奇lz从写微服务转做数据的话是怎么准备的，有推荐的学习资料或者路线吗？还是说通过转为数据方面的工作从实践积累经验？

写得太好了，了解了大数据历史之后非常有收获！感谢楼主

daydreamerlee 发表于 2022-8-16 02:43
感谢！
第二个问题其实是想问
-  支撑 ML training 的海量数据，现在都在用什么类型的数据库 （或 ware ...

做ML的来凑个热闹。这个问题要看真正喂给模型的数据有没有确定：

1.比如推荐系统，每时每刻都在产生很多新的日志，这些原始日志一定要经过一些ETL才能真正喂给模型。这种原始日志就存在HDFS，按天和小时分个区就差不多了，可优化的空间不大

2.如果ETL工作（采样，特征工程等等）已经做完了，这时候需要反复训练模型调参（所以需要反复load数据集），提高效率的方式可能是将数据集序列化（比如TFRecord）

ML和数据库在使用数据的场景上还是有很大区别的，数据库需要支持各种花式过滤&聚合&计算的操作，ML通常只要简单的过滤条件一顿猛读就好了

微信用户_50ca7b9 发表于 2022-9-9 02:25
做ML的来凑个热闹。这个问题要看真正喂给模型的数据有没有确定：

1.比如推荐系统，每时每刻都在产生很 ...

ML的feature engineering需不需要各种花式过滤&聚合&计算？

写的不错

zzz6222 发表于 2022-9-9 22:28
ML的feature engineering需不需要各种花式过滤&聚合&计算？

特征必然是需要的，不过这个过程我把当作training前单独的一步了，大数据要解决的问题完美匹配这个场景。我就挑了点不一样的说下。。

支持楼主 才95年？

这是吃了多少本书才能做到的理解程度。只能看懂皮毛的瑟瑟发抖……

大佬最后说的就是Apache Ignite 吗？

Kayle_Yang 发表于 2022-10-14 14:31
这是吃了多少本书才能做到的理解程度。只能看懂皮毛的瑟瑟发抖……

我在划水的时候楼主在旁边读书，亲眼看他真的读了很多书，很佩服他