LLM带来的backend和infra机遇

- 模型inference的新的任务 (e.g. 模型串联) 和硬件种类催生新的部署resouce management framework 比如调用GPT4 API的成本是anyscale部署llama2-70B成本的55倍
- 训练出来的模型常常不能直接部署 需要自动做推演优化的工具链 比如NV的tensorRT-llm
- 算力需求催生能源效率更高的ML硬件 如systolic array 和其他种类的GEMM on-chip data reuse设计
- 目前能完美链接上层开发API (e.g. pytorch) 和下游硬件的driver和library还不够多 做的最好的是NV的CUDA + RAPIDS生态 能观察到AMD, Intel, Qualcomm在这方面的投入在增加
- 模型训练完毕后会随着时间变化deprecate (e.g. ChatGPT的knowledge cutoff) 需要能实时监测模型健康和做continuous learning的MLOps基础设施
- 边缘设备 (e.g. 自动驾驶) 模型部署和做privacy-preserving continuous learning的基础设施

读完觉得有用求加米捏

你说的很多东西早就有了，也比较成熟，为啥llm出现就应该带来更多更大量的jobs呢？

企业烧投资人的钱让打工人受益。

southriver 发表于 2023-11-5 15:46
最多的机会应该是在应用层，LLM基础设施本身是一个高门槛且容易赢者通吃的行当，估计会被头部少数几家公司 ...

同意，很恰当的类比

southriver 发表于 2023-11-05 15:46:14
最多的机会应该是在应用层，LLM基础设施本身是一个高门槛且容易赢者通吃的行当，估计会被头部少数几家公司垄断。

可以参考当年的iPhone moment，虽然后来也有了android，但移动操作系

ok 所以说入行LLM 性价比最高的还是做RAG(retrieval augmented generation) 这种AI integration的领域，而不是直接touch model本身。

求问小伙伴们前端有啥机遇么？

应该繁荣的会是应用层，我感觉这一波ai打开了一个全新的口子，以前的应用层都得是专业的工程师做精细活，出deterministic的结果；
现在可以更糙，直接问题丢给AI，虽然黑盒，但结果还挺好，各个垂直domain调一调估计都能解决很大一部分问题了，能用20%付出cover80%的需求了，不要太爽。
现在随便一两天就能用GenAI做出个以前想都不敢想的app

mark一下

LLM 模型训练E2E infra应该有很多需求，data pipeline + training + evaluation + deployment

Andrew大牛曾经在一次演讲中就讨论过这个事情， 里面提到了很多对于backend and infra的机遇