在 GeForce RTX 3060 上启用 GPUDirect Storage（GDS）：userspace 方案
目标：在一台 GEM12 迷你主机（RTX 3060，经 OCuLink/M.2 显卡坞扩展）上启用 NVIDIA GPUDirect Storage（cuFile / nvidia-fs），让 NVMe SSD 直接 DMA 到 GPU 显存，绕开 CPU 中转。 结论先说：GeForce 上 ...
在 GeForce RTX 3060 上启用 GPUDirect Storage（GDS）全记录
说明：本文记录的是早期的「内核补丁」方案（改 open kernel module 源码 + 禁用 GSP 固件）。后续验证发现，GDS（GPU↔NVMe）其实不需要改内核模块，改用纯用户态拦截 RM ioctl 补建 NV503C 对象即可。最终验证通过的 userspace 方案见：《在 Ge...
GB200 NVL72 + GLM-5-FP8 成本深度拆解：从硬件折旧到每百万 Token 只需 38 元
随着大模型参数规模突破千亿，推理成本成为企业规模化落地的核心瓶颈。NVIDIA GB200 NVL72 机柜级系统凭借 72 张 B200 GPU 和 1.8TB/s NVLink 带宽，为 MoE（混合专家）模型提供了极致吞吐。本文将基于真实硬件和模型数据，一步步拆解部署 GLM-5-FP8 模型...
Nivdia向量数据库图检索最新标杆——CAGRA
CAGRA 是 N社在RAFT项目中 最新的 ANN 向量索引。这是一种高性能的、 GPU 加速的、基于图的方法，尤其是针对小批量情况进行了优化，其中每次查找只包含一个或几个查询向量。 与其他像HNSW、SONG等这类基于图的方法相似，CAGRA在索引训练阶段构建了一个经过优化的 k-最近邻（k-N...