💡 技术前沿
InfoQ 中文
Meta 拓展自研芯片战略:从计算领域延伸至网络领域
InfoQ 中文 ·
2026-09-05 17:56
· 1 浏览
AI 摘要
Meta 详细介绍了
MTIA 300,这是其首款专为训练排序和推荐模型而优化的自研加速器。
大语言模型训练往往主要关注原始浮点算力吞吐量——Meta 表示,与之不同的是,推荐模型在加速器之间的通信上花费了更多时间。MTIA 300 通过将网络和集合通信直接集成到芯片中来解决这一问题。
通信压力主要来自嵌入表,Meta 表示,嵌入表可能包含推荐模型 99% 以上的参数量。在数百个加速器上训练这些模型会产生频繁的 AllReduce、AllToAll 和 AllGather 操作,从而形成一种网络与计算本身同等重要的工作负载。
Meta 首先将网络接口移入加速器封装内部。MTIA 300 包含两
关注公众号「网英的日常」,
第一时间获取行业资讯推送!