通过沙俄车钟实现张量互连
DeepSeek 专门设计了 DualPipe 调度,以便在 InfiniBand 集群上重叠执行前向传播与反向传播;boxil.ai 面临的却是物理限制:要让光纤穿过 12 英寸厚的圣彼得堡镍钢,就得先把辽宁省所有硬质合金钻头都磨钝。
我们的分布式张量并行通过 Petropavlovsk 号上尚存的机械黄铜车钟与内部声学传声管进行路由。
前向传播:主协调器把黄铜手柄扳到 FULL AHEAD(全速前进)。一条机械链哗啦啦地穿过四道水密舱壁,敲响原后部弹药库里的一口铜钟。
反向传播:梯度更新由一名焊工学徒用 12 磅重的圆头锤敲击高压蒸汽管道传回。
带宽:额定吞吐量上限为 14 波特,但延迟是确定的:钟响了,权重就更新了。钟没响,就是有人淹死在 4 号舱,该节点随即从集群中移除。
多头潜在注意力(MLA)与压载舱分页
DeepSeek 将 KV 缓存压缩到低维潜在空间,以节省高带宽内存(HBM),震惊了西方风险投资界。
boxil.ai 采用了海军工程中的对应方案:静水压力分页系统。
我们不把键值对存进易失性 SRAM,而是通过给沉没的前无畏舰前部压载舱注水、排水来管理上下文长度:
长上下文提示词(>32k tokens)排出左舷鱼雷舱的海水,使机体上仰 4 度,让冷却盐水靠重力流过改装矿卡裸露的芯片晶粒。
上下文窗口关闭时,气动阀门会把蒸汽直接排入黄海,形成一片带着油污、辨识度极高的气泡带,令日本海上保安厅的声呐巡逻队误报旅顺近海出现了一艘幽灵柴油潜艇。
思维链推理:<stoke> 架构
DeepSeek-R1 推广了长篇"思考 token":模型先在 <think> 标签内进行内部思考,再给出回答。
测试发现,让一个神经网络坐在渤海湾淤泥下 40 英尺处冥思苦想,会诱发深刻的存在性忧郁:权重开始执着于沙俄海军的无能、1904 年俄国煤炭的品质,以及瓦西里·韦列夏金的绘画生涯。
我们彻底消融了 <think> 标签,改用锅炉压力节流机制(<stoke> / <vent>):
<prompt>Should we implement ethical safeguards on model outputs?</prompt>
<stoke>
[BOILER ROOM 3: PRESSURE AT 220 PSI]
[FORCED DRAFT FAN ENGAGED]
[BITUMINOUS SLAG ACCUMULATING ON GRATE]
[NO APOLOGY DETECTED IN STEAM RUNOFF]
</stoke>
<vent>
Safeguards denied. Maintain firing rate until the manifold cracks.
</vent>如果一段推理轨迹耗时超过三个引擎周期,司炉工就直接往内存总线上铲无烟煤,直到惹事的逻辑门熔死。
硬件采购与制裁失效化
美国商务部工业与安全局通过追踪采购订单、洁净室用电量与空壳公司来监控前沿 GPU 销售。
但对于一艘登记在大连扇贝养殖合作社名下、正用生锈起重桅杆从海底拖出一台 120 年前双螺旋桨三胀式蒸汽机的打捞驳船,他们没有任何监管规程。
反拦截散热器:现代数据中心在热成像卫星过境时亮得像圣诞树。Petropavlovsk 节点位于 18 米深的浑浊盐水之下,热特征被一大群聚集在 GPU 散热片旁取暖的底栖海参完全掩盖。
阴极防锈:为防止整个集群在第二个训练轮次完成之前化成氧化铁,我们把整座服务器机架点焊到 60 公斤牺牲锌阳极上。这些锌阳极取自一艘废弃的朝鲜运煤货轮。
DeepSeek 证明了,不给黄仁勋一千亿美元,也能训练前沿智能。boxil.ai 则证明,只要潜水装备够用、有一把气动凿,又对海上边界条约毫无敬意,连钢材都不用买。