单纯讨论：GenAI对传统软件开发的影响

此贴不是讨论那些做大模型的人，感觉做模型/infra本身没什么毛病，而且是在推动人类的进步。


传统软件流程里，先有用户需求，然后PM/Designer提出构想，dev team设计技术框架，然后代码实现，测试(unit->integration->e2e), 最后release，维护，迭代，等等。


所在公司/组是做AI应用的，说到底就是prompt engineering,用各种办法讲明白需要做的，用户的context，希望LLM返回expected result。当花了大力气搭好框架，做好测试，结果openai（or others)发布了新的模型，很多basic assumption都变了(e.g. context window size, domain knowledge, API, etc.)， 然后要把现有的prompt全拿出来重测，很大可能好多都需要重写。如果运气好可以release，用户使用语言模型的方法可以千变万化，有太多种办法可能导致LLM没有按照我们预想的方案来，engineer的时间就大量的花在了prompt engineering, error handling, etc. 如果哪天真的有了AGI，那现在所有做的这些所谓的"AI Feature"就都是个笑话。


目前感觉最有用的基于LLM的应用依然是chatGPG和GithubCopilot-like的code生成tool。其他的都有点儿“玩具”的感觉。