从向量数据库到 ANN search
LLM的模型的爆火，意外带动了向量数据库的热度。之前名不见经传的一些初创公司也突然备受追捧。最近在分析端侧LLM场景的时候也分析了相关的一些向量数据库的相关知识。 GPT的缺陷chatgpt在对话过程中表现出的能力包括了一定的上下文检索能力。但这个能力是基于LLM本身的上下文理解能力完成的，但受限于...
王二的数字花园
钱塘江上潮信来，今日方知我是我
最新文章
L1 data 缓存为什么一般只有32K或者64K
L1 data缓存为什么一般只有32K或者64K？为什么不能更大一点？更大不是更好吗？ 至少有这么两个原因。L1缓存因为会频繁被访问，所以优化目标是hit time，缓存size越大，hit time越长。另外现代CPU普遍采用virtually index physically tagged（VI...
ndk std_thread 获取pid
最近在解决tvm绑核问题时，发现android下绑核只有sched_setaffinity函数，这导致无法使用标准库中的td::thread::native_handle_type thread 进行绑核操作。虽然在ndk 21以上的版本提供了pthread_gettid_np函数获取线程相应的pi...
了解LLM——LLM&& SD 基本概念
Causual LM这里以llama模型为例，通常在执行用户输入之前会有一个[[文章/LM basic知识#Prefill]]的过程。然后根据用户promts 得到输出。 Perfix LM这里以GLM为例介绍，展示了基本的流程。 prefix LM和causal LM的区别attention ...