个人部署：Ollma 框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。企业部署：推荐使用Transformers来快速验证模型能力，使用vLLM框架借助PagedAttention 技术实现24倍于Transformers的吞吐量实现大模型的高效推理，针对不同企业场景，则提供不同的企业级部署方案。其他方式：近期出现的KTransformers、Unsloth等多套低成本动态量化模型的DeepSeek部署解决方案。目前暂不够成熟。