"大模型很好，但我们的工艺数据不能出厂。"这是制造业谈 AI 时最常听到的一句话，也是完全合理的底线。答案很明确：本地部署。这篇把本地部署要讲清楚的事一次说透。
一、硬件：没有想象中贵
工业知识问答、文档分析、计算辅助这类场景，不需要顶级算力。一张 24GB 显存的消费级显卡（或入门级专业卡）就能流畅运行中等规模的开源模型，整机投入在数万元级别；要求更高的场景上多卡工作站，也就十几万的量级。对比一条产线的设备投入，这不是大数目，而且是一次性固定资产，没有按量付费的持续出血。
二、模型选型：开源模型已经够用
两年前的顾虑是"开源模型不够聪明"，现在这个差距在知识问答类场景已经不大。选型的关键反而不是模型本身，而是知识库工程：把企业的工艺文件、实验数据、论文资料高质量地接入模型（RAG 检索增强），回答质量主要取决于知识库的组织质量，而不是模型参数多几个亿。
三、成本构成：一次部署 + 少量运维
本地部署的成本 = 硬件 + 实施（知识库整理、系统对接、技能配置）+ 日常运维。没有按 token 计费的 API 账单。需要持续投入的其实是知识库的运营——资料要持续补充、案例要持续沉淀，这部分由现场人员自己完成，不依赖外部厂商。
四、常见误区
- 误区一：本地部署就是买个模型装上。模型只是引擎，数据底座、知识库、权限体系、和业务系统的对接才是工作量的大头；
- 误区二：模型越大越好。超出场景需要的大模型只是徒增硬件成本，适合的才是最好的；
- 误区三：上线即完工。本地大模型的价值随知识库成长，用一年和用一个月是两个系统。
五、安全边界
数据全程在厂内流转，模型推理不出局域网，权限按角色控制。审计、备份都走企业原有的 IT 体系。
乾力智能的 AI 工艺实验研究员与 AI 设备运维智能体均采用本地部署大模型方案，数据不出厂区。如果你想评估厂里的硬件条件和实施路径，欢迎联系我们。
