私有化模型部署设备选型，先别从“买几张卡”开始：同一个模型，单人低频问答和多人同时处理长文档，对显存、响应时间和故障恢复的要求并不一样。下面用五项指标对照单机与集群，并给出从需求到配置的落地步骤。
先确定设备要承载什么
把使用方式写成一张清单：模型及参数规模、输入和输出长度、预计同时请求数、可接受的首字延迟与总响应时间，以及服务是否必须持续可用。还要区分纯推理、微调和训练；后两者对显存、存储和任务运行时间的要求通常更高。私有化模型部署设备选型应以实际工作负载为依据，而不是只看模型参数量。
五项指标：单机和集群怎么比
1. 显存容量：先看模型能否装下
以权重粗算，7B 模型采用 BF16（每参数约 2 字节）时，权重约需 14GB；70B 则约需 140GB。这个估算不包括运行框架开销、KV 缓存和并发请求占用，实际需要预留空间。4-bit 量化能降低权重占用，但效果会受模型、量化方法和任务影响。单机适合模型可放入单卡或单机多卡显存的情况；若需跨节点拆分模型，集群还要考虑节点间通信开销。
2. 吞吐与延迟：并发决定配置方向
少量用户、请求间隔较长时，单机部署链路短、维护简单。若多个用户同时提交长提示词，显存中的 KV 缓存会随上下文和并发增加，吞吐可能下降。先用目标模型和真实请求做压测，记录首字时间、每秒生成 token 数及高峰并发，再决定是否增加设备。私有化模型部署设备选型不能只凭单条请求的演示速度。
3. 扩展方式：纵向加卡还是横向加节点
单机可以增加显存更大的加速卡或使用多卡并行，适合负载集中、规模可预估的服务；优点是网络与调度较简单，缺点是扩容上限受机箱、电源和卡间互联约束。集群可增加节点分摊请求，也可按模型并行切分任务，适合多个服务或并发需求持续增长的场景；但需要处理调度、网络、监控和版本一致性，不能简单理解为节点翻倍、速度必然翻倍。
4. 可用性：故障影响范围不同
单机故障可能让整项服务暂停，配置时应考虑备份、远程管理和恢复流程。集群可通过多副本分担部分故障，但前提是服务入口、存储、网络和调度组件也有相应冗余。若业务允许短时停机，单机方案往往更省事；若有明确的连续服务要求，应把冗余节点及维护成本一并纳入预算。
5. 运维与成本：不只比较设备报价
单机通常更易部署，适合有本地服务器维护能力的小团队或验证阶段。集群除设备外，还增加机柜空间、交换网络、散热供电、监控和故障排查工作。私有化模型部署设备选型时，建议比较三年周期内的采购、能耗、备件、软件适配和人员投入，而非只比较单卡价格。
按步骤做出配置决定
选定待部署模型与精度，确认模型许可、推理框架和加速卡驱动支持情况。
统计典型输入长度、输出长度、并发数和服务时段，区分平均负载与高峰负载。
按权重占用初筛显存，再为 KV 缓存、运行开销和并发留余量；无法装入单机时，再评估多卡或跨节点方案。
用目标硬件压测真实请求，观察延迟、吞吐、显存占用、温度和错误率；逐步增加并发，找到可接受的服务边界。
根据扩容频率、停机容忍度和维护能力定方案，并记录备份、升级、回滚和故障处理步骤。
常见问题
一定要用多卡吗？
不一定。模型与目标并发能在单卡或单机内存范围内稳定运行时，单机更简单；先压测再决定。
量化后能否按权重估算直接采购？
不建议。权重只是占用的一部分，还要考虑缓存、框架开销和并发，需在目标设备上验证。
什么时候值得上集群？
单机已无法满足模型容量、吞吐或可用性要求，且团队具备维护网络、调度与监控的能力时，再评估集群。
如何降低首次配置风险？
先用代表性请求做小规模验证，保留性能记录与配置清单；设备投入按压测结果逐步扩大。总之，私有化模型部署设备选型要由模型、负载和服务目标共同决定，先测后买比单看参数更稳妥。
