💡 技术前沿
InfoQ 中文
RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken
InfoQ 中文 ·
2026-09-06 01:00
· 1 浏览
AI 摘要
加州大学伯克利分校和麻省理工学院的研究人员推出了
FreeToken
。这是一款开源推理引擎，旨在弥合前沿混合专家（MoE）模型与消费级硬件之间的差距。该项目的共同作者包括 Databricks 联合创始人
Matei Zaharia
和
Ion Stoica
，以及
Song Han
、
Kurt Keutzer
等人。
该项目改变了边缘 AI 的思路：不再把个人计算机视为资源受限的数据中心节点，而是将其作为可弹性调度的异构计算资源。
虽然稀疏 MoE 架构在处理每个 Token 时只计算全部参数中的一小部分，但解码过程仍需在数千亿个未激活权重之间进行路由。在数据中心环境中，NVLink 等
关注公众号「网英的日常」，
第一时间获取行业资讯推送！