入门级个人机器学习工作站攒机心得

tensorcore可以让规模相近的卡，最终速度快一倍吧
当时那个优化差主要是很多模型都是FP32，没有用到FP16（虽然现在也还是FP32的模型为主？）

charnugagooo 发表于 2019/06/15 11:49:25
lz求推荐ebay靠谱二手服务器卖家

其实eBay这边大部分卖家都很靠谱哈，建议选择有30天退款的，选择价格靠谱的就应该没问题^_^

leoleleo 发表于 2019/06/15 20:34:57
tensorcore可以让规模相近的卡，最终速度快一倍吧
当时那个优化差主要是很多模型都是FP32，没有用到FP16（虽然现在也还是FP32的模型为主？）

tensorcore这个比价tricky，楼主水平还是不太高所以没办法很好的利用这么先进的硬件哈。因为学校服务器就那么几块v100，大部分时间楼主都只能排到p100，所以没法细致的研究如何用tensorcore:(
因为fp16 会导致丢掉一些digits（还有的时候为了加速可能用到int8。。。人类真是丧心病狂），所以最好使用tensorflow里面自带的calibrator运用额外的data做矫正，所以大部分时候如果你的training set没那么多，模型不那么大，建议fp32走起。

leoleleo 发表于 2019/06/15 20:25:52
[i=s] 本帖最后由 leoleleo 于 2019-6-15 20:53 编辑

对于新手/非专业搭工业级别Model的学生来说的确显存比计算能力还重要，反正新手学机器学习也不会跑很大的数据集（...

层主说的有道理，对于新手来说模型能跑要比速度重要，所以尽量大显存。
因为楼主有的时候会用cpu跑一些in-memory的计算所以就顺便加大了内存数量哈
按照网上大神的建议，一般如果只考虑gpu的需求，系统内存只要是vram的 1倍以上就可以了，比如Kaggle给大家分配9h 的p100有16gb vram，它的系统内存也是16gb，而且基本不会出现瓶颈。

leoleleo 发表于 2019/06/15 20:33:15
另外
利用上多GPU是件比较麻烦的事情（虽然各家Framework都在尽力实现这方面的自动多GPU并行）
所...

层主过奖了，楼主也是mpi的新手，希望和大家交流，提升水平
多gpu是一个很美好的大饼。我记得以前在Maxwell时代老黄出过一个叫Tesla M10的加速卡，这块卡有4个gpu一共2560个cuda，每个gpu和层主说的gtx750ti规模接近。老黄的初衷是用多个便宜的小核心击败一个大核心，但因为优化问题，加上gpu之间通讯问题，所以并没有火起来，现在tesla加速卡依然是大核心为主。
所以多gpu还是要等各位大神的优化了

Irispro 发表于 2019-6-15 21:54
层主说的有道理，对于新手来说模型能跑要比速度重要，所以尽量大显存。
因为楼主有的时候会用cpu跑一些in ...

你说的vram应该是指gram吧？
虽然我完全不知道这么大的vram到底可以用来干嘛
用到的完全是gram
几张不到100MB的图片
传到大一点的CNN  object detection里面就可以把8G的显存给占满了

也许你们这种做data mining的会有大量数据存到内存里进行随机查找所以才不能数据集都放在硬盘上？

另外如果利用学校的云服务的话
Jupyter是个很好的平台
基本上可以做到和在本机上写代码的方便程度差不多
（虽然上传下载数据集还是蛮花时间的）

楼主厉害啊！

leoleleo 发表于 2019/06/16 00:10:28


你说的vram应该是指gram吧？
虽然我完全不知道这么大的vram到底可以用来干嘛
用到的完全是gram
几张不到100MB的图片
传到大一点的CNN  object detection...

嗯对的，VRAM就是gpu的显存
一般来说如果内存够大，可以把整个training set读取到系统内存RAM（不同于vram），然后gpu可以直接从系统内存读取每一个batch的数据，这样的话会比从硬盘读写高效。

有个类似配置的e5 2670*2， 128gb内存加gtx970

也没花太多的前，以前主要是图核多跑多线程，有时单核需要巨大内存来跑cluster