cuda_mode_1
hello load inline这个是torch加载C++扩展的简单demo。代码比较简单 123456789101112131415161718import torchfrom torch.utils.cpp_extension import load_inlinecpp_source = &q...
王二的数字花园
最新文章
端侧 LLM 的PD分离技术之稀疏性
Attention是时空力场（LLM只有时，Version存在空间力场），而FFN则是空间结构，并且代表了基于Knowledge的静态高纬字典，也有人用图书馆来比喻。 首先回顾一下transformer block的结构，Attention +FFN，前者中的 kvcache 随着序列的...
Nvidia 的快速反量化操作
主要记录了论文Who Says Elephants Can’t Run: Bringing Large Scale MoE Models into Cloud Scale Production中关于反量化的快速操作。 背景NN模型通常为了降低RAM、FLASH占用，提高计算吞吐率，会引入量化操作。比...
Turbo Sparse
关于llama稀疏性的观察llama原始模型的FFN计算过程为： f(x) = \text{silu}(xW_{Gate}) \odot xW_{UP} \times W_{Down}123class FeedForward(nn.Module): def forward(self, x):...