了解LLM —— LoRA
论文链接：link code: github 什么是LoRALoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，是一种PEFT（参数高效性微调方法），这是微软的研究人员为了解决大语言模型微调而开发的一项技术。当然...
初始化方法-基本到kaiming
为什么需要初始化初始化的原因， 防止每一层的输出太大或者太小，导致梯度反向传播过程中，梯度爆炸或者梯度消失。 不能采用统一值得原因，因为统一值得初始化会使得每一层网络在不同通道学到得特征相同。 上述原因都会导致，网络模型不能收敛。 简单例子得说明假如我们有一个输入x ，定义为 1>>...
语义分割中的度量标准
pixel accuracy (PA，像素精度)标记正确的像素占总像素的比例 PA=\frac{\sum_{i=1}^kp_{ii}}{\sum_{i=0}^k\sum_{j=0}^kp_{ij}}mean pixel accuracy (MPA, 均像素精度)计算每个类中被正确分类像素的比例，然...