坐在模拟的驾驶舱里,轻轻晃动手柄,直接干掉了大名鼎鼎的歼20战斗机。这是美国空军近期列装的一套训练系统,名称是“先进战术增强现实系统”,空军的飞行员只...
2025-07-24 0
2025 年 7 月 15 日,英伟达 CEO 黄仁勋宣布了一个震动 AI 圈的消息:美国政府即日起解除 H20 芯片对华销售禁令,而就在禁令解除后,云工场科技发布详细测试数据--- 8 卡 141GB 显存的 H20 服务器,能流畅运行 671B 参数的满血版非量化 DeepSeek-R1 模型,推理吞吐量突破预期。
硬核实测:141GB H20 跑满血版非量化 DeepSeek 性能全面解析
测试环境配置
一. 测试数据
二. 关键性能测试结果
测试显示:
1.首 token 响应快: 在测试的多个并发量下,首个 Token 的响应时间 (TTFT) 都保持在3秒以内(实测 0.1s - 2.8s),用户体验非常流畅,感觉不到任何延迟。
2.高并发吞吐大: H20 显卡展现出优秀的并发处理能力。在模拟 100 个用户同时提问(并发请求=100)的中高负载场景下:
·处理短问题(输入/输出各 256 tokens),系统总吞吐量高达 约 1124 tokens/s。
·处理典型问题(输入/输出各 1K tokens),总吞吐量稳定在 约 1100 tokens/s。
·处理复杂问题/长对话(输入/输出各 2K tokens),总吞吐量仍能保持 约 1020 tokens/s。
分场景性能趋势:
1.低并发场景 (<10 用户):
·响应极快: TTFT 始终低于 0.9 秒,用户几乎感觉不到等待。
·吞吐未饱和: 系统能力远未被充分利用,吞吐量相对较低(32-208 tokens/s),性能表现轻松自如。
2.中高并发场景 (50-100用户):
·响应依然迅速: TTFT 保持在 1.9 秒 (1K上下文) 到 2.8 秒 (2K上下文),交互体验依然流畅。
·吞吐大幅跃升: 系统资源得到高效利用,总吞吐量急剧上升至 634 - 1124 tokens/s。
·长上下文优势显现: 在相同并发下,处理更长(1K/2K)的上下文通常能获得比短上下文(256)更高的吞吐量(尤其在并发50时最明显),充分体现了 vLLM 对长文本的优化效果。
3.极限场景 (100用户 + 长上下文 2K):
·响应可控: TTFT 为 2.8 秒,交互体验依然流畅。
·吞吐维持高位: 即使在此压力下,系统总吞吐量仍达 1020 tokens/s。
三.测试总结
云工场科技构建了全面的异构计算资源池,涵盖 NVIDIA 全系高性能 GPU(包括 141GB 显存 H20、L20、RTX 4090 等最新型号)、AMD w7900 以及国产算力三巨头(华为昇腾 910B 系列、百度昆仑芯 P800、燧原 S60)等等,可本地部署到就近机房,提供 DeepSeek、文心一言、华为盘古、LLaMA 等开源大模型本地部署。
通过严格的横向性能基准测试,云工场科技验证了不同架构 GPU 在 LLM 推理、计算机视觉等场景的能效比差异,并为客户提供"算力租赁 + 算力智能调度 + 平台化交付"的完整 AI 服务体系,目前已在教育/工业/通信/交通等多领域成功落地,支撑其大模型部署、推理及场景化落地的全流程需求。
相关文章
坐在模拟的驾驶舱里,轻轻晃动手柄,直接干掉了大名鼎鼎的歼20战斗机。这是美国空军近期列装的一套训练系统,名称是“先进战术增强现实系统”,空军的飞行员只...
2025-07-24 0
近日,中国电信辽宁公司与东北大学计算机科学与工程学院达成战略合作,正式搭建"科研助手"平台,为学院通信工程等专业的教学科研工作提供强有力的算力支撑。随...
2025-07-24 0
金融界7月24日消息,有投资者在互动平台向旋极信息提问:公司一直说转型Ai,那么请问公司后续是会剥离现有业务,全面以Ai为主导,还是双主业运营?公司回...
2025-07-24 0
步入泉州大剧院,入口处的拱形标识十分吸睛。东南网记者 林婕 摄2025年世界互联网大会数字丝路发展论坛将于7月24日在泉州举办,接下来就跟着记者镜头去...
2025-07-24 0
2025年7月19日,李强总理在西藏林芝宣布雅江水电站正式开工。同日,中国雅江集团有限公司正式成立,成为中国第99个央企。这个数字的寓意特别好,也高度...
2025-07-24 0
金融界7月24日消息,有投资者在互动平台向中孚信息提问:来孚AI现在进展如何?未来计划应用在哪些行业或范围?公司回答表示:投资者您好!来孚AI作为依托...
2025-07-24 0
7月22日通辽⇌锡林浩特⇌阿拉善左旗航线恢复通航该航线以锡林浩特为经停点,串联起内蒙古东部草原、中部地质奇观与西部沙漠三大旅游带。锡林浩特机场暑运航班...
2025-07-24 0
新华社北京7月24日电 7月24日上午,国家主席习近平在北京人民大会堂会见来华举行第二十五次中国—欧盟领导人会晤的欧洲理事会主席科斯塔和欧盟委员会主席...
2025-07-24 0
发表评论