查看: 1463| 回复: 0
跳转到指定楼层
上一主题 下一主题
收起左侧

[其他] 各位大神有熟悉MPI的吗?有关master/slave模式求问

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
       现在我必须用MPI处理一个超过10G的json file(收取其中每个对象一个特定数组中的数值),我用master去读完了这个file并把数据全部收集到了一个可变长数组里面,然后在想传输方式时遇到了一些问题,纠结两三天了。 . 1point3acres.com
       一共我觉得有两种处理方式,一种是读完file,将整个数组scatterv给slaves,但是这有一个问题,由于I/O操作全是master进行的,而且内存不是shared,所以slave们根本不知道scatterv中各个数组在master向其中添加元素以后的指向,因为每个node(master和slave)其实都相当于一个独立的电脑,内存不共享(所以便会出现NullPointerException的error),请问这种情况应该怎么操作啊?还有一种办法是master在file中每查到一个数据就传向slave,但是这种情况需要slave知道一共需要接受多少次(这样rev循环次数才能确定),便导致需要至少先遍历一遍file,然后再用Bcast把这个循环的次数传送给slaves,但总感觉怪怪的。我是最近才接触MPI,还希望有大神可以帮助一下,我尽力加米。

上一篇:EE专业ASIC方向学习找工作经验分享
下一篇:求助,工作中如何有效提升技术能力
您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表