Turbo Sparse
关于llama稀疏性的观察llama原始模型的FFN计算过程为： f(x) = \text{silu}(xW_{Gate}) \odot xW_{UP} \times W_{Down}class FeedForward(nn.Module): def forward(self, x): ...
王二的数字花园
钱塘江上潮信来，今日方知我是我
最新文章
kimi 长上下文 case
今天用kimi看论文的时候，想让他总结翻译一下论文某一节的内容。结果不是很理想，看来这个也是一种形式的“捞针实验”了吧 后续再其他平台也测试一下。 ...
Nivdia向量数据库图检索最新标杆——CAGRA
CAGRA 是 N社在RAFT项目中 最新的 ANN 向量索引。这是一种高性能的、 GPU 加速的、基于图的方法，尤其是针对小批量情况进行了优化，其中每次查找只包含一个或几个查询向量。 与其他像HNSW、SONG等这类基于图的方法相似，CAGRA在索引训练阶段构建了一个经过优化的 k-最近邻（k-N...
RAG系统构建_技术文档中句子嵌入的挑战
这个是爱立信对RAG pipeline中 retrival阶段的一个实验报告。并得到的一些初步的实验结论。 sentence embedding 计算的相似度随着文本切分长度增加逐渐变得不可信。 他们选取了 10,970条句子，计算了相互之间的余弦相似度。最终形成了下面的Kernel Densit...