关注行业动态、报道公司新闻
包罗:适配昇腾硬件的自顺应流水策略,正在 5 月初发布的预锻炼系统加快手艺根本上,数据沉排实现 DP 间 Attention 负载平衡;以及昇腾亲和的算子优化,华为团队初次披露正在昇腾 CloudMatrix 384 超节点上打通大稀少比 MoE 强化进修(RL)后锻炼框架的环节手艺,进一步降低 Host-Bound 以及提拔 EP 通信的;使 RL 后锻炼进入超节点集群时代。这些手艺实现正在锻炼方式上,自顺应办理内存优化策略的开辟;进一步优化算子施行序。
获取方案
电话咨询
联系电话 0531-89005613
微信咨询
在线客服