RAG系统构建_技术文档中句子嵌入的挑战
这个是爱立信对RAG pipeline中 retrival阶段的一个实验报告。并得到的一些初步的实验结论。 sentence embedding 计算的相似度随着文本切分长度增加逐渐变得不可信。 他们选取了 10,970条句子，计算了相互之间的余弦相似度。最终形成了下面的Kernel Densit...
Bi-encoder vs Cross encoder? When to use which one?
Bi-encoder和Cross-encoder是在自然语言理解任务模型的两种不同方法，在信息检索和相似性搜索二者的使用更为广泛。在LLM大火的今天，RAG的pipe line中这两个模块作为提升检索精度的模块更是备受瞩目。 Bi-encoder Cross-encoder 架构...