关于PyTorch多GPU训练

最近在帮导师赶论文的一个Baseline模型,由于效率要求不得已必须把PyTorch多GPU的功能用起来了。但由于官网的tutorial里的描述相当简单,我学东西又比较想当然,于是像一只无头苍蝇一样撞来撞去,抓住能抓住的一切稻草进行改动,还是没有成功。并且由于课业繁忙,事情也搁置了很久,直到昨晚被高老师愤怒批评。没了良乡的助教,今天算是空出了一整个下午的时间,我重新思考,寻找线索,终于把训练部分的代码跑了起来。

Read more “关于PyTorch多GPU训练”