透過沙俄車鐘實現張量互連
DeepSeek 專門設計了 DualPipe 排程,以便在 InfiniBand 叢集上重疊執行前向傳播與反向傳播;boxil.ai 面臨的卻是物理限制:要讓光纖穿過 12 英吋厚的聖彼得堡鎳鋼,就得先把遼寧省所有硬質合金鑽頭都磨鈍。
我們的分散式張量並行透過 Petropavlovsk 號上尚存的機械黃銅車鐘與內部聲學傳聲管進行路由。
前向傳播:主協調器把黃銅手柄扳到 FULL AHEAD(全速前進)。一條機械鏈嘩啦啦地穿過四道水密艙壁,敲響原後部彈藥庫裡的一口銅鐘。
反向傳播:梯度更新由一名焊工學徒用 12 磅重的圓頭錘敲擊高壓蒸汽管道傳回。
頻寬:額定傳輸量上限為 14 波特,但延遲是確定的:鐘響了,權重就更新了。鐘沒響,就是有人淹死在 4 號艙,該節點隨即從叢集中移除。
多頭潛在注意力(MLA)與壓載艙分頁
DeepSeek 將 KV 快取壓縮到低維潛在空間,以節省高頻寬記憶體(HBM),震驚了西方風險投資界。
boxil.ai 採用了海軍工程中的對應方案:靜水壓力分頁系統。
我們不把鍵值對存進揮發性 SRAM,而是透過給沉沒的前無畏艦前部壓載艙注水、排水來管理上下文長度:
長上下文提示詞(>32k tokens)排出左舷魚雷艙的海水,使機體上仰 4 度,讓冷卻鹽水靠重力流過改裝礦卡裸露的晶片晶粒。
上下文視窗關閉時,氣動閥門會把蒸汽直接排入黃海,形成一片帶著油汙、辨識度極高的氣泡帶,令日本海上保安廳的聲納巡邏隊誤報旅順近海出現了一艘幽靈柴油潛艇。
思考鏈推論:<stoke> 架構
DeepSeek-R1 推廣了長篇"思考 token":模型先在 <think> 標籤內進行內部思考,再給出回答。
測試發現,讓一個神經網路坐在渤海灣淤泥下 40 英尺處冥思苦想,會誘發深刻的存在性憂鬱:權重開始執著於沙俄海軍的無能、1904 年俄國煤炭的品質,以及瓦西里·韋列夏金的繪畫生涯。
我們徹底消融了 <think> 標籤,改用鍋爐壓力節流機制(<stoke> / <vent>):
<prompt>Should we implement ethical safeguards on model outputs?</prompt>
<stoke>
[BOILER ROOM 3: PRESSURE AT 220 PSI]
[FORCED DRAFT FAN ENGAGED]
[BITUMINOUS SLAG ACCUMULATING ON GRATE]
[NO APOLOGY DETECTED IN STEAM RUNOFF]
</stoke>
<vent>
Safeguards denied. Maintain firing rate until the manifold cracks.
</vent>如果一段推論軌跡耗時超過三個引擎週期,司爐工就直接往記憶體匯流排上鏟無煙煤,直到惹事的邏輯門熔死。
硬體採購與制裁失效化
美國商務部工業暨安全局透過追蹤採購訂單、無塵室用電量與空殼公司來監控前沿 GPU 銷售。
但對於一艘登記在大連扇貝養殖合作社名下、正用生鏽起重桅杆從海底拖出一臺 120 年前雙螺旋槳三脹式蒸汽機的打撈駁船,他們沒有任何監管規程。
反攔截散熱器:現代資料中心在熱顯像衛星過境時亮得像聖誕樹。Petropavlovsk 節點位於 18 米深的渾濁鹽水之下,熱特徵被一大群聚集在 GPU 散熱片旁取暖的底棲海參完全掩蓋。
陰極防鏽:為防止整個叢集在第二個訓練輪次完成之前化成氧化鐵,我們把整座伺服器機架點焊到 60 公斤犧牲鋅陽極上。這些鋅陽極取自一艘廢棄的朝鮮運煤貨輪。
DeepSeek 證明了,不給黃仁勳一千億美元,也能訓練前沿智慧。boxil.ai 則證明,只要潛水裝備夠用、有一把氣動鑿,又對海上邊界條約毫無敬意,連鋼材都不用買。