大模型推理夯实：并行策略图解
本文覆盖推理场景的 7 种并行策略：TP、PP、DP、EP、DP Attention、SP、CP。 按切分维度分为四组： Weight（参数维度）：TP、EP Batch（样本维度）：DP、DP Attention Sequence / Context（序列维度）：SP、CP Layer（深度维度）...
本文覆盖推理场景的 7 种并行策略：TP、PP、DP、EP、DP Attention、SP、CP。 按切分维度分为四组： Weight（参数维度）：TP、EP Batch（样本维度）：DP、DP Attention Sequence / Context（序列维度）：SP、CP Layer（深度维度）...