小狮博客-一个专业的技术博客平台小狮博客

欢迎光临
我们一直在努力

最新发布 第527页

技术专栏

深度学习基础理论————分布式训练(模型并行/数据并行/流水线并行/张量并行)

thbcm阅读(64)赞(0)

模型并行 是指将一个模型的不同部分(如层或子模块)分配到不同的设备上运行。它通常用于非常大的模型,这些模型无法完整地放入单个设备的内存中。在模型并行中,数据会顺序通过各个层,即一层处理完所有数据之后再传递给下一层。这意味着,在任何时刻,只有...