私有化部署满血Deepseek3.2模型

更新时间：2025-09-30 16:43:25

DeepSeek-V3.2-Exp，基于V3.1-Terminus升级，采用创新DeepSeek Sparse Attention架构，通过动态分配计算资源减少冗余计算，在保持精度的同时显著降低内存占用与计算成本，优化长文本处理效率。

本文详细介绍如何使用云容器实例全流程部署DeepSeek-V3.2-Exp，展示DeepSeek-V3.2-Exp私有化部署的最佳实践。我们旨在提供一个灵活、可扩展且高性能的解决方案，以支持深度学习模型的高效部署与运行。这一方法不仅提升了模型推理的效率，还确保了在私有化环境下的稳定性和安全性。

提示

当前的云容器实例（CCI）仅在【北京三区】支持DeepSeek-V3.2-Exp的私有化部署。

前提条件

用户已经获取Alaya New企业账户和密码，如果需要帮助或尚未注册，可参考注册账户完成注册。
当前企业账号的余额充裕，可满足用户使用推理计算服务的需要。点击可了解费用信息，如需了解更多请联系我们。

部署模型

进入算力中心【北京三区】，点击创建云容器实例,选取默认资源的，选取应用镜像(如图)，然后云容器开通。
开通后点击云容器实例 -> 点击web连接的图标

4、进入web连接后，进入目录

  ##启动大模命令
  cd /
  export SGLANG_SERVER_HOST=0.0.0.0
  export SGLANG_SERVER_PORT=9001
  export SGLANG_MODEL_PATH=/root/public/DeepSeek-V3___2-Exp
  export SGLANG_MODEL_NAME=deepseek-v32-exp
  export SGLANG_TENSOR_PARALLEL_SIZE=8
  export SGLANG_API_KEY=sk-12345
  chmod +x /start-llm-inference.sh
  sh -c /start-llm-inference.sh ##此步骤建议后台进行运行
  

执行展示：

alt text

模型使用

方案一：浏览器直接访问

进入云容器实例WebSSH，启动chatwebUI

  ##启动webui应用
  export OPENAI_BASE_URL=${OPENAI_BASE_URL:-http://183.166.183.174:9001/v1} ###容器内的模型端口
  export OPENAI_API_KEY=${OPENAI_API_KEY:-sk-12345}
  export OPENAI_MODEL=${OPENAI_MODEL:-deepseek-v32-exp}
  export WEBUI_SERVER_HOST="0.0.0.0"
  export WEBUI_SERVER_PORT=9002
  chmod +x /start-chat-webui.sh
  sh -c /start-chat-webui.sh

回到云容器实例 -> 点开放端口图标
复制开放端口的9002的地址
浏览器上输入地址直接进行访问，进入界面直接进行与Deepseek3.2模型的对话

方案二：调用接口方案

再次进入开发端口，复制9001 的地址，用户在终端管理页面可使用curl命令行工具向已部署的服务发送HTTP请求，与Deepseek3.2模型对话

curl --location --request POST 'http://183.166.183.17*:30010/v1/chat/completions' \
--header 'Authorization: Bearer sk-12345' \
--header 'Content-Type: application/json' \
--header 'Accept: */*' \
--header 'Host: 183.166.183.174:30010' \
--header 'Connection: keep-alive' \
--data-raw '{
        "model": "deepseek-v32-exp",   
        "messages": [
           {"role": "system", "content": "You are a helpful assistant."},
           {"role": "user", "content": "写一首诗，主题是湖水"}
        ]
    }'

服务响应输出

{
    "id": "3b8a3c290282499f8f076219c4b277ec",
    "object": "chat.completion",
    "created": 1759250598,
    "model": "deepseek-v32-exp",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "《湖水》\n\n被风揉皱的绸缎\n是天光跌碎的镜台\n柳枝垂钓着云影\n一圈年轮\n推开一个等待\n\n野鸭划破的寂静\n在芦苇弯腰时重来\n夕阳斜坠的金线\n缝补星辰\n与浪花的对白\n\n晚霞滴落的胭脂\n醉成满湖胭脂的徘徊\n谁在岸边拾起\n一枚月亮\n藏入青苔的胸怀",
                "reasoning_content": null,
                "tool_calls": null
            },
            "logprobs": null,
            "finish_reason": "stop",
            "matched_stop": 1
        }
    ],
    "usage": {
        "prompt_tokens": 17,
        "total_tokens": 114,
        "completion_tokens": 97,
        "prompt_tokens_details": null,
        "reasoning_tokens": 0
    },
    "metadata": {
        "weight_version": "default"
    }
}

除了上述访问方式外，用户还可以通过Python代码使用已部署的服务。

import http.client
import json

conn = http.client.HTTPSConnection("183.166.183.17*", 30010)
payload = json.dumps({
   "model": "deepseek-v32-exp",
   "messages": [
      {
         "role": "system",
         "content": "You are a helpful assistant."
      },
      {
         "role": "user",
         "content": "写一首诗，主题是湖水"
      }
   ]
})
headers = {
   'Authorization': 'Bearer sk-12345',
   'Content-Type': 'application/json',
   'Accept': '*/*',
   'Host': '183.166.183.174:30010',
   'Connection': 'keep-alive'
}
conn.request("POST", "/v1/chat/completions", payload, headers)
res = conn.getresponse()
data = res.read()
print(data.decode("utf-8"))

此外用户也可使用跨平台AI客户端工具，例如AnythingLLM、Chatbox AI、Cherry Studio等客户端工具，调用已部署的服务。

前提条件​

部署模型​

模型使用​

方案一：浏览器直接访问​

方案二：调用接口方案​

前提条件

部署模型

模型使用

方案一：浏览器直接访问

方案二：调用接口方案