LLM带来的backend和infra机遇

匿名用户 发表于 2023-11-6 00:09
好复杂，小白看不懂。得找个WLB得去处，才可能渐进的学这个。等稍微懂点了，AI的大潮又过去了。

这种心态的人几乎做什么事都做不成。。。

southriver 发表于 2023-11-05 15:46:14
最多的机会应该是在应用层，LLM基础设施本身是一个高门槛且容易赢者通吃的行当，估计会被头部少数几家公司垄断。

可以参考当年的iPhone moment，虽然后来也有了android，但移动操作系

已加米 请问可以推荐几个应用层会受益扩招的公司吗 明年我准备跳槽 谢谢

微信用户_mohe 发表于 2023-11-6 05:49
1. 应用层面
在各个场景LLM+落地的工程化开发，包括：构建/管理知识库，tools接入集成到被llm agent识别， ...

> 模型的数据准备，自动化标注，提炼训练测试验证集，做etl流程，以及配套工具/模型的开发等等。大数据平台及数据开发人员可以往这里靠

为什么数据工程层面仍然需要这些呢？
已有的系统已经够用了吧，标注什么的要么 GPTv 可以大规模代替，需求也会减少吧，除了做foundational model那几家

感觉这个意义不是很大， 本质上还是typical engineering, 真正有需要还是在fine tuning 和RAG， 但是这些需要有很好的ML背景

我现在正在做公司内部知识的chatbot，应用LLM ，使用RAG与embedding，实现对关于公司内部知识或信息的问答。
还有计划做selfserve的agant，实现通过chatbot自助使用我们的服务，使用聊天的方式代替之前需要API调用或者UI操作的功能

匿名用户 发表于 2023-11-08 00:37:20
> 模型的数据准备，自动化标注，提炼训练测试验证集，做etl流程，以及配套工具/模型的开发等等。大数据平台及数据开发人员可以往这里靠

为什么数据工程层面仍然需要这些呢？

抱歉哈哈哈3应该是1的一个场景特化，不应该单独列出来，当时想到啥就随便写了几句。不过不是说去做这些工作比如人工标注会增加新机遇，我指的是这些都可以通过llm增强，这种增强会有开发场景，所以是1的一个场景特化。其实自devday后，才隔了这么几天看，1又死了一大批，真心瞬息万变

Dionysus的酒 发表于 2023-11-7 10:14
已加米 请问可以推荐几个应用层会受益扩招的公司吗 明年我准备跳槽 谢谢

这波应用层收益的公司需要的人是非常少的，比如midjourney一开始做出来只用了11个人。这波LLM的浪潮受益的码农注定是极少数人。

双鬓如霜的篮球 发表于 2023-11-06 02:52:07
从业相关人员来回答。感觉这些领域还是比较有机会的
model：
- 使用smaller LLM 进行应用构建， 面向垂类领域或者特定task的sft+r

大神讲一讲这smaller LLM运用在app的原理？是重新train一个小一点的模型？那么这个和foundation LLM还有啥关系

匿名用户 发表于 2023-11-10 11:05:59
感觉这个意义不是很大， 本质上还是typical engineering, 真正有需要还是在fine tuning 和RAG， 但是这些需要有很好的ML背景

请问RAG也需要ML背景么？ 感觉就是vector store 搜索这一套

很有意思的话题，先马住