ML/AI infra中的compute challenge

看到这个帖子https://www.1point3acres.com/bbs/thread-970928-1-1.html?mobile=2 讨论ai infra

想单独问两个问题：
1. 我看不少人说ml/ai infra的技术挑战在于compute，能否有大牛展开具体说说compute的细节？
2. ml/ai infra这个领域有多大前景呢？

我猜你不是硬件背景，才会觉得ML infra是个新问题。
本质上来讲，HPC也好，edge /cloud也罢，都属于computer architecture的范畴。
这个领域研究的就是出现新的workload，有什么样的特征，比如data/compute ratio, data reuse opportunity, data access pattern，等等
另一方面出现了什么样的硬件新技术，比如NVM， in-memory compute，photonic-network。他们的bandwidth/latency/power/area/durability 的trade-off如何。
然后结合这两个方面，怎样找到最优的一条曲线，比如用roofline model
这些工作都是硬件公司或者infra组的日常工作，chatgpt或者llm火了无非就是把这种workload在工作中的优先级调高一些，没什么新的。

匿名用户 发表于 2023-2-28 21:15
我猜你不是硬件背景，才会觉得ML infra是个新问题。
本质上来讲，HPC也好，edge /cloud也罢，都属于compute ...

不是新问题并不代表不重要。只会越来越重要。现在神经网络的架构基本已经定了，做模型架构研究已经卷上天了，事实上已经失去意义了，剩下的就是大（算）力出奇迹。新的硬件会不断出现来推动模型变大变强。所以david pattern说是这会是做architecture的黄金时代，同样也会是做上层infra的黄金时代。

匿名用户 发表于 2023-02-28 21:26:08
我赞同。所以我们做core infra的才有饭碗啊。AI infra带来新的需求。
但我想问真正做AI/ML infra的人，就其中具体的细节

1、memory capacity/bandwidth bound, LLMs 动辄billion数量的weights，怎么样可以快速读取，是个问题
2、first token latency，第一个token的latency特别长，因为要处理所有的prompt tokens，比如你用chatgpt会发现提交问题后要过几秒钟才会出现第一个单词，但之后的就比较快了

匿名用户 发表于 2023-02-28 21:15:17
我猜你不是硬件背景，才会觉得ML infra是个新问题。
本质上来讲，HPC也好，edge /cloud也罢，都属于computer architecture的范畴。
这个领域研究的就是出现新的wor

我赞同。所以我们做core infra的才有饭碗啊。AI infra带来新的需求。
但我想问真正做AI/ML infra的人，就其中具体的细节

chatgpt是不是可以取代调参mle以及full stack

最后码农只剩下infra track了

匿名用户 发表于 2023-2-28 21:26
我赞同。所以我们做core infra的才有饭碗啊。AI infra带来新的需求。
但我想问真正做AI/ML infra的人，就 ...

https://people.eecs.berkeley.edu ... flineVyNoYellow.pdf
像楼上说的，细节在这，多读几遍就明白了。

转角遇见猫 发表于 2023-02-28 21:53:37
不是新问题并不代表不重要。只会越来越重要。现在神经网络的架构基本已经定了，做模型架构研究已经卷上天了，事实上已经失去意义了，剩下的就是大（算）力出奇迹。新的硬件会不断出现来推动模型变大变强。所以dav

我的意思是这工作已经有architect的人做，外行没什么机会。而不是说出现了一种新的工种