在人工智能应用迅速扩展的背景下，华为云在第四届828B2B企业节上宣布了一项重大技术突破：其Tokens服务已全面接入CloudMatrix 384超节点，使单芯片性能从每秒1920次交易提升至2400次交易，延迟低至50毫秒。这一创新不仅巩固了华为云在AI基础设施领域的领导地位，也标志着中国算力技术向全栈协同新时代迈进。
华为云通过创新的xDeepServe架构，成功实现了单芯片处理能力的显著提升。每秒处理的Tokens数（TPS）从1920增加到了2400，这意味着AI模型在单位时间内的处理速度提升了25%。这样的提升，使得华为云在处理大规模语言模型和复杂数据分析时更为高效。同时，低至50毫秒的延迟（TPOT）确保了实时交互的顺畅进行，如在线客服和实时翻译等应用场景。这些改进背后，是华为云在硬件和软件方面全面重构的努力：CloudMatrix 384超节点通过UB总线连接了384个AI芯片和192个CPU，打破了传统服务器的限制；xDeepServe分布式推理框架采用了一种创新的分离架构，将大模型拆分成更小的模块并行处理，避免了资源浪费；EMS弹性内存存储系统则突破了“AI内存墙”的限制，实现了“以存强算”，充分发挥了芯片的潜能。
页码:下一页
