MMoE学习笔记：利用门控专家网络高效建模多任务关系

为了解决这一难题，Google 的研究人员提出了 MMoE (Multi-gate Mixture-of-Experts) 模型，一种基于“软参数共享”的高效 MTL 架构。MMoE 通过引入门控机制和专家网络，能够显式地建模任务间的关系，并根据输入数据自适应地调整共享策略。本文将从模型背景、核心原理、梯度更新机制及应用价值等方面，对 MMoE 进行全面而深入的解析。