deepseek的蒸馏程度极高

通过比较复杂的题目引导它把思考重点放在题目上，不去用检索从数据库中找到“我被deepseek发明”的答案，而是直接用模型本身生成答案，就能hack出真实的结果。

相关的研究论文见最后一张图。

ZoeY.Zou 发表于 2025-01-27 06:29:22
小白 没看懂 诚请楼主解答

如果直接问deepseek它的公司是谁就会回答deepseek 但实际上可以通过一些技巧得到openai和anthropic的答案，证明它的训练数据基本全部来自这两个公司。最后一张图的论文讲的是测试不同模型和gpt的相似度(蒸馏程度) chatglm、deepseek等表现出了相当高的相似。deepseek的低成本就源自利用现成AI的api采集高质量数据。

Deepseek现在那么轰动，一个重要原因是R1。R1破解了人工智能的圣杯：逐步推理功能，用pure RL这条路就可以做到逐步推理。这是对通往agi道路的一个重大贡献。当然，今天股市以及新闻上，大家还是主要关注在V3高效上。

可是这代表了什么呢。GPT模型就是预估下一个最可能的字。你问他是什么模型，在训练数据里Chat GPT的样本越多，越容易生成这个答案。deepseek在训练时，语料内容从来就没有deepseek理论上他根本不知道自己叫啥。因为openai现在就是用的最多的模型，所以语料里出现openai概率最高，你这根本算不上证据

此时此刻的黄叔：  卧槽 又被河南捞翔给坑了。。。 为什么要加个又？

realkusa 发表于 2025-1-27 22:19
此时此刻的黄叔：  卧槽 又被河南捞翔给坑了。。。 为什么要加个又？

此时的我一脸懵逼

小白 没看懂 诚请楼主解答

您提到关于 DeepSeek 的讨论，主要涉及以下几点：         1.        询问 DeepSeek 的公司归属时，模型会回答“DeepSeek”，但通过一些技巧可以得到“OpenAI”和“Anthropic”的答案，暗示其训练数据主要来自这两家公司。         2.        一篇论文测试了不同模型与 GPT 的相似度，发现 ChatGLM、DeepSeek 等模型表现出相当高的相似性。         3.        DeepSeek 的低成本源自利用现成 AI 的 API 采集高质量数据。  针对这些观点，分析如下：  1. 模型自我认知与训练数据来源  有报道指出，DeepSeek-V3 可能直接使用了由 ChatGPT 生成的文本作为训练数据。在训练过程中，模型吸收了部分 GPT-4 的输出内容，导致模型在自我认知上出现混淆，甚至在被询问时将自己误认为是 ChatGPT。    这表明，DeepSeek 的训练数据可能包含来自 OpenAI 和 Anthropic 模型生成的内容。然而，DeepSeek 官方并未明确披露其训练数据的具体来源，因此上述推测基于外部分析，尚需进一步验证。  2. 模型相似度研究  关于不同模型与 GPT 的相似度，目前缺乏公开的、详细的研究结果。 然而，考虑到许多模型在训练过程中可能使用了相似的数据集，或采用了类似的技术和架构，因此在性能和输出上表现出相似性是可能的。  3. 低成本训练策略  DeepSeek 通过创新的训练方法，实现了高效的模型训练。 据报道，DeepSeek 的最新 AI 模型在性能上几乎与美国同行相当，但成本仅为后者的四分之一左右。    此外，DeepSeek 采用了数据蒸馏技术，通过生成高质量的合成数据来提升训练效率。    然而，依赖合成数据也存在风险，可能导致模型在多样性和泛化能力上的不足。    综上所述，DeepSeek 在模型训练中可能使用了其他 AI 模型生成的数据，这可能导致模型在自我认知上出现混淆。 其低成本优势主要得益于创新的训练方法和对高质量合成数据的利用。 然而，具体的训练数据来源和方法细节尚未完全公开，因此上述分析基于现有信息，可能需要进一步验证。

现在的问题是openai继续发布新模型，deepseek还是能通过这种方式训练出一个性能极其接近的模型，openai之后如何发展？

openai不体面 deep seek帮你体面

无法重现楼主这两个prompt的答案

jobs_steve 发表于 2025-01-27 08:47:47
无法重现楼主这两个prompt的答案

无法reproduce