📣 独立日限时特惠: VIP通行证立减$68
查看: 707| 回复: 3
跳转到指定楼层
上一主题 下一主题
收起左侧

大数据:每48小时就中断,如何拼接

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
一个程序,在High performance computer上运行。但是每48小时,就被管理员中断。

这个程序需要运行7天左右。

请问,如何断点恢复?就是每次程序从上次的运行断点处接着运行。

程序是下面这样的。

for (i in 1:1450818000 ) {
    out[i, ] = f(i)
}



上一篇:有偿:求地里大神解析手算推导gradient boosting (binary classification)
下一篇:ML、DL、NLP基础知识怎么补?
🔗
赤赤菌 2022-2-23 01:07:25 | 只看该作者
全局:
你这信息给太少了吧。。。
简单来说log到json下次再读取就好了。。。
回复

使用道具 举报

🔗
nitsc 2022-2-23 01:55:41 | 只看该作者
全局:
改写成spark job,会分成很多小的task。已经完成了的task恢复以后不用重做。
回复

使用道具 举报

全局:
最简单的操作就是自己分成四段 每次跑一段 48小时内跑完 最后四段结果拼在一起
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表