一直以来,Pytorch只支持Mac上的CPU训练就在刚刚,Pytorch官方宣布其最新版本v1.12可以支持GPU加速只要是搭载M1系列芯片的Mac
这意味着在Mac本身上使用Pytorch炼金术会更方便!
训练速度可以提高7倍左右。
这个功能是Pytorch与苹果的金属工程团队合作推出的它使用苹果的金属性能着色器作为PyTorch的后端,实现GPU加速训练
为了优化计算性能,MPS还根据Metal GPU家族独有的特性对每个内核进行了微调。
Metal是一个类似于OpenGL的框架,只不过OpenGL适用于各种平台上的移动GPU渲染和计算Metal专用于iOS/MacOS平台,但也兼顾了性能和易用性
MPS是一套基于Metal框架的库,可以利用GPU的高性能处理图形,直接构建卷积神经网络。
苹果官方在配备M1 Ultra,20核CPU,64核GPU,128GB RAM和2TB SSD的Mac Studio上进行了测试
他们分别训练了批量为128的ResNet50,批量为64的HuggingFace BERT和批量为64的VGG16。
从下图可以发现,相比CPU加速,使用GPU可以使模型训练速度提高7倍左右,求值速度最高可以达到20倍左右。
看到这里,有网友开始怀疑它和搭载Nvidia GPU的笔记本电脑相比表现如何。
有人说,虽然M1原厂计算性能不如英伟达的产品,但功耗还不错苹果未来很可能会慢慢赶上性能总的来说,Mac Studio现在看起来好香
他进一步解释说:毕竟,这是你花4800美元就能买到的最便宜的机器,包含128 GB的GPU内存借助基于GPU加速的PyTorch支持,可用于训练大型模型和配置大批量对于我做的那种DL工作来说,数据加载比实际的原始计算能力更容易成为瓶颈
你兴奋吗现在试试
地址: