了解LLM——LLM&& SD 基本概念
Causual LM这里以llama模型为例，通常在执行用户输入之前会有一个[[文章/LM basic知识#Prefill]]的过程。然后根据用户promts 得到输出。 Perfix LM这里以GLM为例介绍，展示了基本的流程。 prefix LM和causal LM的区别attention ...
王二的数字花园
钱塘江上潮信来，今日方知我是我
最新文章
了解LLM —— LoRA
论文链接：link code: github 什么是LoRALoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研究人员为了解决大语言模型微调而开发的一项技术。当然...
TVM－MLC LLM 调优方案
LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna，Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https://github.com/mlc-ai/mlc-llm 本文在之前作者介绍的基础上,简要介绍一下mlc的调优部署方案。...
TVM 源码阅读PASS — VectorizeLoop
VectorizeLoop这个PASS就是对标记为ForKind::kVectorized的For循环做向量化处理，并对For循环中的语句涉及到的变量，替换为Ramp，以便于在Codegen的过程中生成相关的向量化运算的指令。 VectorizeLoop这个PASS的入口函数如下，只有在打开enab...