查看: 5811| 回复: 17
跳转到指定楼层
上一主题 下一主题
收起左侧

如何本地跑训练DeepSeek的过程?

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

虽然自己也是理工科毕业,但完全没有接触过AI领域,最近听说deepseek是一个开源的LLM模型,我想本地跑一下这个模型的训练过程。
但是找了半天也没发现怎么下载这个模型的源代码,比如说这个deepseek-R1的仓库 https://github.com/deepseek-ai/DeepSeek-V3, 这里头inference folder里有一些python文件,但总感觉就这么几个python script就能搞出一个震撼世界的LLM不太可能,对吗?
网上找到一个教程: https://medium.com/@isaakmwangi2018/a-simple-guide-to-deepseek-r1-architecture-training-local-deployment-and-hardware-requirements-300c87991126
里面提到了local run,通过Ollama可以在本地跑deepseek的模型,但还是没发现下载源代码的地方?
感觉我对LLM模型的理解不太对,求科普

补充内容 (2025-01-25 11:34 +08:00):

补充:本地跑整个训练过程肯定不现实,但是想知道怎么跑,从哪个main函数开始跑?

上一篇:找一起学习App Academy Open的小伙伴 互相帮助互相监督
下一篇:实在忍不住吐槽一下今天的印度recruiter
推荐
dayeye2006 2025-1-25 12:57:12 | 只看该作者
全局:
你好像搞混了训练和推理。

开源了模型和参数,不代表开源了训练过程和数据
回复

使用道具 举报

推荐
groundzyy1 2025-1-26 04:36:43 | 只看该作者
全局:
huggingface刚放出来open r1 https://github.com/huggingface/open-r1,如想看看从头怎么训练可以follow。如果只是finetune,就楼上那些就可以了
回复

使用道具 举报

全局:
bbsyst 发表于 2025-01-25 15:57:59
不到5块,4块多一点,而且直接打入养老金账户,退休后才能领
水军喊水军这个套路都来了lol 楼主不用理他 你想学先看那经典的30篇paper traing code肯定是不公开的 不然美国这些公司就不用花那么多钱了
回复

使用道具 举报

全局:
以下是针对文章中链接自动生成的摘要:
DeepSeek推出了一种创新方法,通过强化学习提升大型语言模型的推理能力,其最新研究DeepSeek-R1展示了无需大量监督微调即可提高复杂问题解决能力。DeepSeek-R1-Zero完全依赖强化学习,而DeepSeek-R1则结合了监督微调和多阶段训练,显著提高了模型的可读性及一致性,优化了推理性能。DeepSeek-R1和其简化版均在MIT许可证下开源发布,提供了多种本地部署方案,支持通过API和本地工具进行灵活访问和集成。
回复

使用道具 举报

🔗
TCTC 2025-1-25 12:38:45 来自APP | 只看该作者
1
全局:
水军真勤快。

地里反买,别墅靠海。
回复

使用道具 举报

全局:
看推上说因为限制出口,所以deepseek隐瞒了他们使用五万张英伟达gpu来训练的事实,谁能推测一下是否如此?
回复

使用道具 举报

🔗
 楼主| bbsyst 2025-1-25 19:07:02 | 只看该作者
全局:
dayeye2006 发表于 2025-1-24 23:57
你好像搞混了训练和推理。

开源了模型和参数,不代表开源了训练过程和数据

原来如此
回复

使用道具 举报

🔗
 楼主| bbsyst 2025-1-25 19:07:48 | 只看该作者
全局:
TCTC 发表于 2025-1-24 23:38
水军真勤快。

地里反买,别墅靠海。

多谢夸奖哈
回复

使用道具 举报

🔗
TCTC 2025-1-26 01:59:25 来自APP | 只看该作者
全局:
装都不装直觉认是水军了?提问是假,造热度是真。

信你就和信隔壁预测哥没两样,大家都不瞎,地里反买吧。
回复

使用道具 举报

全局:
最后的赢家还是老黄啊。。。
回复

使用道具 举报

全局:
Ollama + chatbox
一行代码都不用谢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表