微软高管:增加存储芯片产能无法解决AI基础设施的瓶颈
微软Azure硬件系统与基础设施总裁Rani Borkar近日表示,单纯增加存储芯片产能无法解决AI基础设施瓶颈,存储与电力正成为比计算芯片更难绕开的硬限制。受限于数据传输延迟与带宽,许多AI系统往往仅能发挥约20%的实际性能。
她提出"从芯片到系统"的跨层协同设计路径,涵盖模型、编译器、芯片、网络到供电的联合优化,目标是在相同存储与电力条件下提升计算资源的持续产出。
以微软自研AI加速器Maia 200为例,该芯片采用台 积 电3nm工艺,搭载216GB HBM3e内存,同时通过模型压缩、数据科学与架构设计降低KV Cache需求。网络方面,微软采用双层Scale-up网络,将网络接口控制器整合进芯片,以降低延迟并减少加速器闲置。
电力端同样经历巨变,AI机柜功耗已升至数百千瓦。微软引入固态变压器与800V直流供电架构,并将精细电压与时钟控制器整合至Cobalt 200的每个核心内。
Borkar强调,没有任何一项创新能单独消除瓶颈,但联合优化能大幅提高资源交付成果。微软提出的"有效产出"指标,正将AI基建竞争从堆砌芯片数量转向系统级效率比拼。
联系我们
💬
微信
363930193