大家都知道，AI计算（尤其是模型训练和推理），主要以并行计算为主。 AI计算中涉及到的很多具体算法（例如矩阵相乘、卷积、循环层、梯度运算等），都需要基于成千上万的GPU，以并行任务的方式去完成。这样才能有效缩短计算时间。 搭建并行计算框架 ...