大模型推理夯实:并行策略图解
本文覆盖推理场景的 7 种并行策略:TP、PP、DP、EP、DP Attention、SP、CP。 按切分维度分为四组: Weight(参数维度):TP、EP Batch(样本维度):DP、DP Attention Sequence / Context(序列维度):SP、CP Layer(深度维度)...
本文覆盖推理场景的 7 种并行策略:TP、PP、DP、EP、DP Attention、SP、CP。 按切分维度分为四组: Weight(参数维度):TP、EP Batch(样本维度):DP、DP Attention Sequence / Context(序列维度):SP、CP Layer(深度维度)...
📊 文档中的流程图索引本文档包含以下 Mermaid 流程图(需要支持 Mermaid 的 Markdown 查看器): 架构层次图 - 展示从应用层到物理层的完整架构 mDNS 发现流程图 - 设备发现的详细序列图 传输协议栈图 - libp2p 传输层分层结构 节点启动时序图 - 完整的启动...