卓普云

如何在AMD MI300X 服务器上部署 DeepSeek R1模型?

在本博文中,我们将探讨DeepSeek-R1如何在AMD Instinct™ MI300X GPU上实现卓越性能,并与H200进行性能对比。借助MI300X,用户可在单节点上高效部署DeepSeek-R1和V3模型。

2025年8月21日
如何在AMD MI300X 服务器上部署 DeepSeek R1模型?

DeepSeek-R1凭借其深度推理能力备受关注,在语言模型性能基准测试中可与顶级闭源模型匹敌。

AMD Instinct MI300X GPU可在单节点上高效运行新发布的DeepSeek-R1和V3模型。

用户通过SGLang优化,将MI300X的性能提升至初始版本的4倍,且更多优化将在未来几周内集成到开源代码中。

MI300X的高内存带宽和容量优势,使Chain of Thought(CoT)推理能更快速、高效地访问大内存,支持实际应用中更长序列的处理。

在本博文中,我们将探讨DeepSeek-R1如何在AMD Instinct™ MI300X GPU上实现卓越性能,并与H200进行性能对比。借助MI300X,用户可在单节点上高效部署DeepSeek-R1和V3模型。仅通过两周的SGLang优化,推理速度已提升高达4倍,确保了高效扩展、更低延迟及优化吞吐量。MI300X的高带宽内存(HBM)和强大算力可处理复杂AI任务,支持更长序列和高要求推理。AMD与SGLang社区持续推进优化,包括融合MoE内核、MLA内核融合及推测性解码,使MI300X的AI推理体验更加强大。

目前,企业除了可以从AMD官方预定MI300X以外,还可以通过云平台来使用MI300X,例如DigitalOcean 最新推出的基于MI300X的GPU 裸金属服务器和云服务器(具体详情可联系我们)。

DeepSeek模型部署挑战

尽管大规模部署需求日益迫切,但实现最优推理性能仍面临技术挑战。DeepSeek-R1是一个超大规模模型(参数量超640 GB),即使以FP8精度训练,也无法在8卡NVIDIA H100单节点中部署。此外,其多头潜在注意力(MLA)和专家混合(MoE)架构需要高度优化的内核以实现高效扩展和定制化优化。最后,适配支持块量化FP8 GEMM内核对最大化吞吐量和性能至关重要,因此内核调优是高效执行的关键。

在MI300X上使用SGLang

SGLang是面向LLM和VLM的高性能开源推理框架,提供高效运行时、广泛模型支持及活跃社区,正被行业广泛采用。AMD作为SGLang的核心贡献者,与社区紧密合作,优化AMD Instinct GPU上的LLM推理。为提供最佳MI300X开箱即用体验,SGLang已发布预构建Docker镜像和文件,既可用于生产部署,也可作为定制化用例的起点。

基准测试关键结论

以下是SGLang在Instinct MI300X上的推理基准测试要点:

  • 仅两周内,通过优化FP8精度的6710亿参数DeepSeek-R1模型(非精简版),推理性能提升高达4倍,所有优化已集成到SGLang(图1)。
  • DeepSeek-R1和V3模型在MI300X上经过高度优化,充分利用其强大算力和大容量HBM内存。 1.png

对于需低延迟的在线推理场景(如聊天应用),单节点8卡MI300X在32并发请求下仍可保持每输出token时间(TPOT)低于50ms。离线任务则可通过更大并发设置提升吞吐量。

图2显示,当最大并发从1增至32时,性能主要受限于内存;而32至64并发区间则转为计算瓶颈。

2.png

如何复现基准测试

以下是MI300X和H200的测试步骤(假设模型已下载):

在MI300X上

1、下载Docker镜像:

docker pull rocm/sglang-staging:20250212  

2、运行容器:

docker run -d -it --ipc=host --network=host --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mem --group-add render --security-opt seccomp=unconfined -v /home:/workspace rocm/sglang-staging:20250212  
docker exec -it <container_id> bash  

3、启动推理服务:

HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code  

4、运行客户端请求:

concurrency_values=(128 64 32 16 8 4 2 1)  
for concurrency in "${concurrency_values[@]}";do  
    python3 -m sglang.bench_serving \  
    --dataset-name random \  
    --random-range-ratio 1 \  
    --num-prompt 500 \  
    --random-input 3200 \  
    --random-output 800 \  
    --max-concurrency "${concurrency}"  
done  

在H200上

1、下载Docker镜像:

docker pull lmsysorg/sglang:v0.4.2.post3-cu125  

2、运行容器:

docker run -d -it --rm --gpus all --shm-size 32g -p 30000:30000 -v /home:/workspace --ipc=host lmsysorg/sglang:v0.4.2.post4-cu125  
docker exec -it <container_id> bash  

3、使用与MI300X相同的命令运行基准测试:

HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code  

完成以上步骤后,就可以在MI300X服务器上实时运行DeepSeek-R1的聊天应用了。

未来方向

未来AMD与SGLang将推出更多优化,包括:

  • 融合MoE内核优化
  • MLA内核融合
  • 集群通信增强
  • 数据并行(DP)与专家并行(EP)
  • 前向计算与解码分离
  • 投机性解码

这些改进将进一步释放MI300X的潜力,为AI推理带来更强大的性能。另外,如果希望机遇MI300X部署进行AI产品开发,欢迎了解DigitalOcean GPU Droplet服务器,具体详情请联系我们

相关产品与选型

把教程落到可用的云资源上

相关标签

相关文章

用 OpenCode + FluxLane 打造亚马逊比价采购智能体:每天一份比价简报,自动送到手机
教程

用 OpenCode + FluxLane 打造亚马逊比价采购智能体:每天一份比价简报,自动送到手机

零代码搭建亚马逊比价 AI 智能体:用 OpenCode + FluxLane 接入 Apify,每天自动抓取商品价格、生成比价简报并推送到微信,适合跨境卖家选品盯盘,新手也能当天上手。

2026年11月18日
Kimi Code 如何接入 Claude、GPT 等模型?Kimi Code接入 Fluxlane API 教程
精选
教程

Kimi Code 如何接入 Claude、GPT 等模型?Kimi Code接入 Fluxlane API 教程

本文提供 Kimi Code macOS 客户端接入 Fluxlane API 的图文教程。无需命令行或额外工具,通过图形化界面即可添加第三方模型供应商,轻松实现 Claude、GPT、DeepSeek、GLM 等多款大模型的灵活切换。

2026年11月12日
Codex 如何接入 Claude 等其它模型?使用 CC Switch 接入 FluxLane API 教程
精选
教程

Codex 如何接入 Claude 等其它模型?使用 CC Switch 接入 FluxLane API 教程

macOS 上为 Codex 桌面客户端接入 FluxLane API 的完整教程:借助 CC Switch 图形化配置,无需命令行,让 Codex 灵活调用 Claude、DeepSeek 等多款模型。

2026年11月9日