关于llama稀疏性的观察llama原始模型的FFN计算过程为： $$f(x) = \text{silu}(xW_{Gate}) \odot xW_{UP} \times W_{Down}$$ 123class FeedForward(nn.Module): def forward(self, x): return self.w...

今天用kimi看论文的时候，想让他总结翻译一下论文某一节的内容。结果不是很理想，看来这个也是一种形式的“捞针实验”了吧后续再其他平台也测试一下。

CAGRA 是 N社在RAFT项目中 最新的 ANN 向量索引。这是一种高性能的、 GPU 加速的、基于图的方法，尤其是针对小批量情况进行了优化，其中每次查找只包含一个或几个查询向量。 与其他像HNSW、SONG等这类基于图的方法相似，CAGRA在索引训练阶段构建了一个经过优化的 k-最近邻（k-NN）图。这个图具备多种优良特性，能够在保持合理召回率的同时实...

这个是爱立信对RAG pipeline中 retrival阶段的一个实验报告。并得到的一些初步的实验结论。 sentence embedding 计算的相似度随着文本切分长度增加逐渐变得不可信。 他们选取了 10,970条句子，计算了相互之间的余弦相似度。最终形成了下面的Kernel Density Estimate (KDE) 图。 从图中可以...

Bi-encoder和Cross-encoder是在自然语言理解任务模型的两种不同方法，在信息检索和相似性搜索二者的使用更为广泛。在LLM大火的今天，RAG的pipe line中这两个模块作为提升检索精度的模块更是备受瞩目。 Bi-encoder Cross-encoder 架构 有两个独立的编码器 —— 一个用于编码输入的查询，另一个用于...

本文来自：c++ weekly

登录过程分析先来到知乎提供二维码登陆的界面，利用F12开发工具，可查看请求这个二维码图片需要那些数据。 能看到是get请求，headers也很寻常，但多次刷新可发现请求的url地址有一部分在改变。寻找前面的文件，能找到这部分动态改变的值 为了方便阐述，那就把image称为A文件，qrcode称为B文件。 这里就有了一个思路，先请求B文件，拿到to...

这是TK分享的学习方法，这里收藏备份一下。重要的是思路。 这两天论坛上又有人开始抱怨世风日下，大家都现实了，都不开放了，不交流了。对这种“月经贴”，我基本上已经习惯了，不过因为吃了粉皮炖鸡，心情比较好，于是就说了两句。 三四年前，当时我对人性的看法还不像现在这样。有几个人加了我的QQ，说想学Windows，我居然就好为人师起来，自不量力地教人学Wind...

最近参与的向量数据的技术分析项目什么的基本告一段落了，简单总结一下，在Edge侧实现向量数据的应用场景以及一些问题挑战。 背景问题： 手机上需要不需要一个向量数据？ 如果需要，需要什么样的数据库？支持哪些算法，有哪些约束？ 是不是需要？对于第一个问题显然是成立的。近年来各大手机手机厂商在AI能力上的探索越来越深入，AI算法所涉及的业务范围也从最开始的...

前言pyppeteer 是 puppeteer 的 python 版本，实现了大部分接口，因为使用了异步await等关键字，需要 python3.6+，具体作用自行百度。 因初次运行默认需要从国外下载 chromium 到指定路径，不适合国内，所以写了这篇文章方便小伙伴们在国内进行配置。 附上官方文档，英语好的小伙伴们可自行配置。 windows下的安装和配...