Karpathy 的本地 AI 知识库,和我的实践
Karpathy 分享了他如何构建本地的 AI 知识库,跟我用的方法也很相似。 都是用的 Obsidian,纯本地 MD,然后用一些反向链接、索引的方式把它们连起来。 Karpathy 的方法他构建了一个用大语言模型驱动的个人 Wiki 知识库,然后把原始资料都丢进一个叫 RAW 的目录。 然后让大...
Karpathy 分享了他如何构建本地的 AI 知识库,跟我用的方法也很相似。 都是用的 Obsidian,纯本地 MD,然后用一些反向链接、索引的方式把它们连起来。 Karpathy 的方法他构建了一个用大语言模型驱动的个人 Wiki 知识库,然后把原始资料都丢进一个叫 RAW 的目录。 然后让大...
现象项目中发现 14 个卡死的 subagent,时间跨度从3月14日到今天。它们不是偶尔卡一下——最长的卡了 64 分钟。 排查结果共同模式 所有卡死 agent 的最后一条 assistant 消息都是 stop_reason=tool_use(有一个是 None)— agent 发起了工具调用...
原文: State of RL for reasoning LLMs by aweers 翻译说明: 本文翻译自 aweers 的技术博客,系统梳理了 2024-2026 年间推理 LLM 强化学习领域的重大发展。文章从基础算法(REINFORCE、PPO)讲起,逐步深入到 GRPO 及后续改进方...
随着大模型参数规模突破千亿,推理成本成为企业规模化落地的核心瓶颈。NVIDIA GB200 NVL72 机柜级系统凭借 72 张 B200 GPU 和 1.8TB/s NVLink 带宽,为 MoE(混合专家)模型提供了极致吞吐。本文将基于真实硬件和模型数据,一步步拆解部署 GLM-5-FP8 模型...