AI 基础设施架构演进复盘

我的 AI 算力集群:从一台游戏本到四台设备各司其职

2026-07-19 · PM Parker · 阅读约 8 分钟

两年前,我的"AI 算力"是一台游戏本。

今天,它是一个四节点的小集群。

这篇复盘这个集群的三次重构——比起最终的拓扑,每一次重构的动因和踩的坑更值得记录。

第一次重构:从"一台机器打天下"到分工

最初的形态是一台高性能主机包打天下:生图、跑模型、存素材、跑 Agent 全在一台。

崩溃点出现在第一次批量视频渲染——渲染把 GPU 和磁盘 IO 吃满,生图排队,Agent 超时,素材检索卡死。

所有工作负载互相拖累,一个全家桶变成了全家故障。

这次重构确立了我至今遵守的方法:先定义工作负载角色,再决定设备。

角色清单是——创意生成(GPU 密集)、大模型推理(显存/内存密集)、素材存储与检索(磁盘 IO 密集)、任务调度与运行时(低资源但要求常驻)。

四个角色,四种资源画像,天然指向分工。

第二次重构:设备取消,学会"拓扑降级"

规划里曾有一台令人兴奋的新设备(一台带 128GB 统一内存的推理盒子),我早早把它写进了拓扑、分配了角色。

结果设备计划取消——我的拓扑文档一夜之间成了科幻小说。

这次尴尬教会我两件事:

没到手的设备不进生产拓扑。规划归规划,运行拓扑必须只包含"已到手、已实测"的节点,未到的设备单独放"计划区"。

降级要有预案。设备取消后,原定角色(大模型推理)怎么办?答案是先保持"文本走云端 API"的旧路线,本地只保留已经跑稳的角色。拓扑可以缩,服务不能断。

第三次重构:归属澄清与角色再平衡

最近一次重构最富戏剧性。

我发现某云端算力服务的底层硬件,正是我之前以为取消的那台设备的同款——Jetson Thor T5000,128GB 统一内存。

而且可以通过局域网代理直接调用。

折腾一圈把设备"买回"之后,集群迎来了真正的定型:

4090 主机(i9-14900K,94G 内存,24GB 显存):视频与图像生成主力,4 步蒸馏视频模型加图像模型,也是本地调试机。

Thor T5000 推理仓:128GB 统一内存,跑量化开源大模型,出图备用兜底。

飞牛 NAS(Ryzen 8845HS,96G DDR5,六盘位 RAID5):素材库、中间产物、发布归档,顺带跑内网检索服务。

懒猫微服 NUC(无显卡):Agent 调度、任务路由、消息通道推送。

同一轮里我还退掉了一台配置豪华但角色重叠的创作主机——512GB 统一内存的 Mac Studio。

它的活儿被 4090 主机全覆盖了,留着只是心理安慰。

卖掉那天我总结出一条:设备的价值不是它的配置,是它在拓扑里不可替代的程度。

沉淀:拓扑文档的三条纪律

版本化:拓扑文档从 v1 写到 v4,每次重构注明取代关系与重构理由——半年后你能查到"当时为什么这么定"。

实测核对硬件:规格表和实物经常有出入,关键参数(内存带宽、实际可用显存、端口)以实测为准。

标注所有权与依赖:设备归谁、账号在谁手里、依赖哪些外部服务——所有权模糊是那次"买回"折腾的根源。

个人算力集群最有意思的地方在于:它是你的需求的一面镜子。每一次设备进出、角色调整,背后都是你对"我到底要用 AI 做什么"这个问题的回答在进化。

设备会过时,但这套"角色先行、按需重构"的方法会一直在。部署形态的取舍见 自部署的产品思考


← 返回博客列表 · 相关阅读:自部署的产品思考 · 本地还是云端