王二的数字花园

钱塘江上潮信来,今日方知我是我

最新文章

ssd_notes_03

前情提要这篇主要介绍 SSD 的读写单位如 page、 block,以及写入放大 (write amplification) 、 wear leveling 等 SSD 问题及设计。除此之外, Flash Translation Layer (FTL) 及其两个主要功能 logical block ...

SSD笔记- 第一篇引言

本文转载自:https://www.owlfox.org/blog/2019-11-25-coding-for-SSD-part-1/ 缘由Emmanuel Goossaert 是booking.com的工程师,他因为想拿SSD 做自己的 key-value store专案的储存方案,开始学习SSD...

fp16 的累加误差有多大

最近在项目中需要实现fp16的数据类型做FFN的计算,算子实现的同学反馈误差与x86上得到的golden数据有比较大误差。开始以为是x86侧做数值模拟仿真的问题。后面也实现了对比了一下,发现误差累计确实挺大。 实测结果对比int main() { // Seed with a re...

废话

黑暗森林的游戏规则

只追求及格线,往往及格都过不了。 拼尽天赋追求满分极致,可能热情耗尽了,只想靠委屈妥协保住饭碗,往往不如你意。 AI附注:这是一个关于”度”的哲学思考。在目标设...

向量空间距离与FFN上限

向量空间距离度量方式限制了FFN大小的发展。所以MoE是当前的最优解。

#AI #MoE #FFN

黑暗森林的游戏规则

在一切均可 skill 的时代,过多暴露思路只会是黑暗森林里举着火把行走的人,变成 AI 的养料。欢迎进入黑暗森林的游戏规则,不要说话。 ​​​

#废话

公司形态的演变

蒸汽机时代,公司像工厂,谁能扩大产能、压低成本、建立纪律,谁就能统治市场。 大众传媒时代,公司开始像品牌,谁能占领电视、广告和消费者心智,谁就能把商品变成符号,...

#废话 #商业

信息差的钱

市场经济,通过价格信号和破产等方式,进行了持续的信号修正,整个社会化生产才得以持续良好运行。 但是代价是什么,就是大量的中层,中介和中产,去持续不断的弥补信息的...

#随笔 #经济