3月5日这天，美光发布了全球首款256GB的LPDRAM SOCAMM2，这可真算是给数据中心的基础设施树立了一个新标杆。作为纳斯达克的上市公司，美光（股票代码：MU）这次宣布开始给客户送样这个业界容量最大的模块，也让他们在低功耗服务器内存这块更稳固地领先了一步。 靠的是世界上第一个单晶粒32Gb的LPDDR5X设计，美光这就把这种颠覆性的技术用在了AI数据中心上，给大家带来了全新的系统架构可能。现在的AI训练、推理、代理AI还有通用计算混在一起，大家对内存的要求越来越高，这也逼着数据中心得改一改系统结构。 现在的AI活儿特别费劲儿，不光要处理大模型的参数、扩大上下文窗口，还得存那些持久化的键值（KV）缓存；而核心的计算也变得更复杂了，数据量大、并发多、内存空间也不够用。 针对这种情况，内存的容量、带宽效率、延迟和能效已经成了系统层面的主要瓶颈，直接影响到性能、扩展性和整体的花费。这时候LPDRAM的优势就显现出来了，它能在功耗和散热都受到限制的环境里，给AI还有核心计算服务器当关键的解决方案。 为了满足这种需求，美光和NVIDIA联手设计了高性能的内存方案。美光的高级副总裁兼云端存储事业部总经理Raj Narasimhan说，这次256GB的SOCAMM2提供了更省电的CPU附加内存方案，也证明了美光在技术和封装上的突破。 这个模块不仅容量大、功耗低，尺寸还小，特别适合做各种AI和通用计算的活儿。跟以前的192GB SOCAMM2比起来，这次256GB SOCAMM2的容量提升了三分之一。要是给一颗8通道的CPU配的话，就能用上2TB LPDRAM这么大的空间，去支撑更大的上下文窗口和更复杂的推理任务。 跟同样容量的RDIMM比起来，SOCAMM2的功耗只有其三分之一，尺寸也缩小了三分之一。这就把机架密度提上去了，也帮客户省下了不少钱。 在统一内存架构里用来做KV缓存卸载的时候，256GB SOCAMM2能把长上下文、实时LLM推理的第一个token生成时间缩短2.3倍。要是在独立CPU的应用里处理高性能计算的活儿，LPDRAM每瓦能提供的性能比主流模块高超过3倍。 这种模块化的设计还很好维护，也能适配液冷服务器架构。以后AI和核心计算对内存的需求还在涨，这个模块也能跟着升级扩容。 NVIDIA数据中心CPU产品部门主管Ian Finder也说，先进AI架构要从方方面面极致优化才能搞定那种严苛的工作负载对性能和能效的需求。美光这回用低于传统服务器内存的功耗实现了大容量和高带宽突破，为下一代AI CPU提供了很大帮助。 美光还在推动JEDEC SOCAMM2规范制定方面出力不少，一直和系统设计人员深度合作。为了全行业能在能效和性能上都提升上来。现在美光已经开始给客户送样256GB SOCAMM2了，还提供了从8GB到64GB组件、48GB到256GB SOCAMM2模块的最全产品线。