大模型为啥叫大模型，跟模型有啥关系？

各位AI从业者，鄙人不懂为啥都叫大模型，比如汽车模型，就是一个假的模体。Model模特，就是一个假的让买家上身的效果。那大模型究竟怎么类比、怎么理解？

目测也很难跟楼主解释参数是什么东西

就是数学模型，所谓模型就是从具体问题抽象出来的东西，用来分析具体问题。
举个例子，比如楼主要去买x个苹果和y个梨子，每个苹果价格a元，每个梨子价格b元。我们关心总共花费z，所以数学模型就是a*x+b*y=z，其中a和b是参数，x和y是输入。参数可以相对固定（一段时间内单价可以不变），输入每次可能不一样。

楼主说的汽车模型假人模型其实也是一样的，这些模型也是从实体抽象出来的。LLM也是一样，它是自然语言处理过程的模型。不过上面例子中参数只有两个，而LLM里面参数动不动就成百上千亿，所以叫“大”模型

参数量巨大，动不动就是40B，100B，400B级别的，传统一个浮点数32位4个字节的话，100B等于100GB * 4 = 400 GB。那么载入模型本身就需要400GB的显存加上若干KV cache以及别的预留空间，所以单个instance可能就要好几张A100或者H100等等的卡，这还只是inference的成本，training就更恐怖了。

数学model，参数多，所以叫大模型

数学的model。数学不好不要搞AI。

这是中文翻译的锅，全称large language model，large指参数量。中文直接大模型颇有一种正能量这个形容词正的味道，不知所以然。

匿名用户 发表于 2024-12-28 21:00:08
参数量巨大，动不动就是40B，100B，400B级别的，传统一个浮点数32位4个字节的话，100B等于100GB * 4 = 400 GB。那么载入模型本身就需

这个参数量其实搞大规模科学计算的非常常见，不然之前那些超算设计出来给谁用的。搞ml的没见过世面大惊小怪，结果ml infra都被之前做超算cs system的人控制话语权了。

匿名用户 发表于 2024-12-28 23:47:22
这是中文翻译的锅，全称large language model，large指参数量。中文直接大模型颇有一种正能量这个形容词正的味道，不知所以然。

是language large， 还是model large？

也许该改名为 Large Mode for Language

楼主看起来是不知道什么是科学领域的模型吧，去查查什么是数学模型就能理解了，这里说的模型不是那种现实生活中看得到摸得到的实体，是一种抽象的概念

占内存巨大，训练时间巨大，训练开销巨大，反正很大