thbcm的文章

技术专栏

深度学习基础理论————分布式训练(模型并行/数据并行/流水线并行/张量并行)

thbcm阅读(377)赞(0)

模型并行 是指将一个模型的不同部分(如层或子模块)分配到不同的设备上运行。它通常用于非常大的模型,这些模型无法完整地放入单个设备的内存中。在模型并行中,数据会顺序通过各个层,即一层处理完所有数据之后再传递给下一层。这意味着,在任何时刻,只有...

联系我们