什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

随着我们步入大规模大型语言模型(LLM)和人工智能推理部署阶段,服务器系统中的真正性能瓶颈早已从计算单元转移到了内存端。过去五年间,服务器CPU核心数量几乎增长了三倍,但内存带宽的增长速度却远低于此,导致每核心的可用带宽持续下降。 “内存墙”已成为计算能力释放的核心制约因素。在大型语言模型(LLM)推理中,对键值缓存(KV Cache)的频繁读取进一步加剧了这一问题;在许多场景下,系统吞吐量直接取决于内存带宽,而非CPU的理论计算能力。 随着传统DDR架构逐渐接近其物理极限,采用多路复用架构、可将有效带宽翻倍的MRDIMM,已成为突破内存瓶颈的下一代技术路径。.

什么是 MRDIMM 文章标题图 1 什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

什么是 MRDIMM?

MRDIMM 是“多路复用双通道双列直插式内存模块”(Multiplexed Rank Dual In-line Memory Module)的缩写。其显著特点在于:在不提高 DRAM 芯片本身原生频率的情况下,该模块通过专用控制芯片使两个通道并行工作,从而为内存控制器提供两倍的有效带宽。.

传统内存的"单通道"机制

在传统的DDR内存中,一个内存通道采用“单通道”访问机制。 在典型的双通道内存模块中,DRAM芯片被划分为两个独立的通道,它们共享同一条数据总线。由于DDR协议的限制,内存每次只能激活一个通道进行数据传输,另一个通道则处于等待状态。 这就像一条单车道高速公路:尽管有两排车辆排队等候,但在任何给定时刻只有一排车辆能通过,因此道路的总通行能力并不会因为车辆数量增加而提高。.

MRDIMM的"双通道合并"方法

MRDIMM 的核心创新在于在模块上添加了一组专用多路复用缓冲芯片,从而能够从两个通道并行读取数据,并在内部将输出数据合并。 具体来说,两条通道上的 DRAM 芯片均以标准速率同时传输数据;多路复用芯片在模块内部对这两路数据流进行时分复用,将其合并为数据速率翻倍的单一数据流,然后发送至 CPU 侧的内存控制器。 从主机的角度来看,它似乎正在与运行速度翻倍的高速内存进行交互。然而,从 DRAM 芯片的角度来看,这些芯片仍然以原有的标准速度范围运行,无需进行底层工艺升级。.

为什么这是一个明智的解决方案

这种架构的妙处在于,它绕开了DRAM芯片本身的物理速度瓶颈。 单纯提高芯片频率将面临诸多挑战——信号完整性、功耗、良率等——且成本将急剧攀升。MRDIMM 将复杂性转移到了模块侧的接口芯片上,从而以相对可控的成本实现了系统级带宽的提升。同时,MRDIMM 保持了完整的协议级兼容性。 数据访问仍遵循标准的 64 字节缓存行对齐规则,并且所有 RAS 可靠性功能(如 ECC 纠错和故障隔离)均得以保留。 无需修改服务器内存指令集或软件栈即可适配。从物理结构上看,MRDIMM 与标准 DDR5 RDIMM 的引脚布局完全相同,可直接插入现有服务器内存插槽;只需 CPU 和 BIOS 原生支持,即可释放其全部性能。.

OSCOO 企业级 SSD 产品线 什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

从1个芯片到11个芯片:MRDIMM与标准内存的硬件差异

从外观上看,MRDIMM 与标准 DDR5 RDIMM 几乎完全相同——长度相同、引脚相同,且可插入相同的服务器内存插槽。但将 PCB 翻转过来,你会发现一个显著的硬件差异:MRDIMM 搭载了一组额外的专用缓冲芯片,这些芯片正是实现带宽翻倍的硬件基础。 标准 DDR5 RDIMM 仅有一个中央控制芯片,而根据 JEDEC 官方标准,单个 MRDIMM 采用“1+10”核心芯片配置。.

MRDIMM 与标准内存的硬件差异 什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

1 MRCD:模块的控制中心

MRCD 是“多路复用寄存器时钟驱动器”(Multiplexed Register Clock Driver)的缩写。它是传统 RCD 的升级版本,作为整个 MRDIMM 的控制中枢。 MRCD的主要职责包括:接收并解码来自内存控制器的地址、命令和时钟信号;协调两个通道的读写时序,以确保两个数据流的精确对齐;以及管理多路复用调度逻辑,以确保合并后的数据流不存在时序偏移。 与标准 RCD 相比,MRCD 的内部逻辑复杂度显著更高,且功能模块数量更多。.

10 个 MDB:数据通道的并行引擎

MDB 是“多路复用数据缓冲器”(Multiplexed Data Buffer)的缩写。这是 MRDIMM 上的新核心组件,也是实现数据带宽翻倍的关键。每个 MDB 芯片对应一条数据位通道,负责并行接收、缓冲以及对来自两个数据通道的相应数据位进行时分复用。 这 10 个 MDB 共同覆盖所有数据通道(包括 ECC 奇偶校验位),将模块内部的两路数据流合并,并以两倍的速率通过内存总线发送出去。 简而言之,MRCD 负责“命令调度”,而 MDB 负责“数据传输”——二者协同工作以完成整个复用过程。.

MRDIMM 的实际性能表现

MRDIMM 的实际性能表现 什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

带宽:实现两倍或以上的飞跃

带宽是MRDIMM的核心性能指标,也是其与其他内存类型相比最突出的特点。.

第一代 MRDIMM 的标准运行速度为 8800 MT/s,理论带宽为每通道 70.4 GB/s。 与当前主流服务器 DDR5-6400 RDIMM(51.2 GB/s)相比,这代表带宽提升了约 37.5%;相较于上一代 DDR5-5600 平台,提升幅度则超过 40%。 对于已经受到内存带宽限制的工作负载,这一提升几乎可以线性地转化为业务性能的提升。第二代 MRDIMM 将速度进一步提升至 12800 MT/s,突破了每通道 100 GB/s 的门槛,达到 DDR5-6400 的两倍。 根据 JEDEC 的路线图,第三代 MRDIMM 的目标是达到 16000 MT/s,继续沿着带宽翻倍的道路前进。.

值得注意的是,这种带宽提升是“有效带宽”的实质性提升,而非通过容量堆叠获得的纸面收益。这意味着内存控制器确实能够每秒传输更多数据——这对带宽密集型工作负载而言是一项根本性的优势。.

延迟:高带宽带来的意外好处

高带宽内存通常伴随着更高的延迟,但 MRDIMM 却呈现出截然不同的情况。 与标准 DDR5 RDIMM 相比,在对带宽敏感的工作负载下,MRDIMM 实际上能提供更低的有效访问延迟,降幅最高可达 40%。这一反直觉的结果源于 MRDIMM 更高的有效数据速率(8800 MT/s)。 与 6400 MT/s 的 RDIMM 相比,MRDIMM 完成相同数据传输量所需的时间更短,因此在高负载、高队列深度场景下,其整体访问延迟更低。 美光在英特尔至强 6 平台上的实际测量结果证实了这一点:通过内存延迟测试工具,在带宽密集型条件下,MRDIMM 相较于同一平台上的 DDR5 RDIMM 展现出显著更优的延迟性能。.

与 LRDIMM 相比,MRDIMM 的延迟优势预计将更加显著。LRDIMM 为了支持更大的容量和更多的内存通道,在数据路径上增加了额外的缓冲层,从而引入了不可忽视的延迟开销。 相比之下,MRDIMM的多路复用架构在数据路径上采用了更精简的缓冲设计,具有更大的时序优化空间。 这使得 MRDIMM 成为少数既能提供“高带宽”又能提供“相对较低延迟”的内存解决方案之一,因此特别适合量化金融和实时分析等同时需要这两项特性的应用场景。.

能效与绝对功耗

就每瓦带宽而言,MRDIMM 的表现更优:每传输 1 GB 数据所消耗的能量低于传统 RDIMM。这是因为接口芯片功耗的增加远小于带宽的提升,因此从“每比特传输成本”的角度来看,其效率更高。 然而,就单模块的绝对功耗而言,MRDIMM 明显高于标准内存。典型的 DDR5 RDIMM 功耗约为 10 至 12 瓦,而 MRDIMM 模块的功耗则在 18 至 21 瓦之间——几乎是前者的两倍。 这部分额外功耗主要来自10个MDB芯片和1个MRCD芯片。对于数据中心而言,这意味着部署MRDIMM需要同步升级供电和散热能力;总拥有成本不仅包括内存采购本身,还包括基础设施投资。.

MRDIMM 与 RDIMM 与 LRDIMM 与 HBM

内存类型 核心定位 典型速度 主要优势 成本等级 典型使用案例
UDIMM 消费级无缓冲内存 4800–6400 MT/s 低延迟、低成本 台式机、入门级工作站
RDIMM 标准服务器内存 4800–6400 MT/s 稳定、均衡、广泛兼容 中型 通用服务器、虚拟化
LRDIMM 高密度、大容量存储器 4800–5600 MT/s 单模块容量极大,支持高密度配置 中高 内存数据库、大容量节点
MRDIMM 高带宽服务器内存 8800–12800 MT/s 带宽翻倍,延迟低,与插槽兼容 更高 AI推理、高性能计算(HPC)、实时数据分析
HBM 3D堆叠式高带宽内存 6400+ MT/s 带宽极高,部署在计算单元附近 非常高 GPU加速器、AI训练芯片

需要注意的是,MRDIMM 和 HBM 并非竞争对手,而是互补技术。 HBM 采用 3D 堆叠技术,直接封装在 GPU 或 AI 加速器内部,与计算单元距离极近,从而提供超宽带的近内存存储,但其容量受封装空间限制,且成本极高——它主要服务于 GPU 侧的加速计算。 另一方面,MRDIMM 部署在服务器主板的标准内存插槽中,作为 CPU 的系统主内存,每个模块的容量可达 256 GB 甚至更高,成本远低于 HBM——它服务于 CPU 侧的通用计算。 在典型的AI服务器中,GPU卡配备HBM用于核心计算,而CPU侧则配备MRDIMM用于系统调度、数据预处理和KV缓存管理——二者各司其职,共同支撑AI工作负载。.

MRDIMM 的四大关键应用场景

MRDIMM 的四大关键应用场景 1 什么是 MRDIMM?面向 AI 工作负载的下一代服务器内存

AI推理与大型模型服务

AI 大型模型推理目前是 MRDIMM 最重要的应用场景,也是增长最快的领域。 在大型语言模型(LLM)推理过程中,生成的每个令牌都需要反复读取键值缓存(KV Cache)。随着并发度的提高和模型参数数量的增加,键值缓存的读取量呈爆炸式增长,系统的吞吐量往往直接受限于内存带宽,而非CPU计算能力。.

MRDIMM 带宽翻倍,直接转化为更高的推理吞吐量。 在基于英特尔至强 6 平台的实际测试中,配备 MRDIMM 的服务器在大型语言模型(LLM)推理任务中实现了约 33% 的性能提升——这意味着单台服务器能够处理更多的并发请求,从而显著降低了每令牌的推理成本。 对于基于 CPU 的推理服务器、边缘推理节点以及中小型模型部署场景,MRDIMM 正逐渐成为一种高性价比的性能升级方案。.

高性能计算

传统的高性能计算(HPC)工作负载——如科学计算、气象模拟、数值模拟和基因组学——也是 MRDIMM 的主要应用领域。这些应用通常需要处理海量数据集,CPU 核心会持续从内存中读取大型矩阵和数组。 一旦核心数量超过一定阈值,内存带宽就会成为计算管道中的瓶颈,导致许多核心因等待数据而处于空闲状态。MRDIMM的高带宽能够更好地为多核CPU提供数据支持,使更多核心能够同时保持忙碌状态。 对于受内存带宽限制的高性能计算工作负载,MRDIMM带来的性能提升接近理论带宽增益——约为30%至40%。 对于超级计算中心和研究机构而言,这意味着在无需更换 CPU 的情况下,仅需相对可控的成本,即可实现约一代产品级别的性能提升。.

金融与实时数据分析

金融行业的应用场景——高频交易、风险量化、实时数据仓库——对内存性能提出了极其严格的要求:不仅需要高带宽,还要求低延迟和高确定性。 以风险价值(VaR)计算或期权定价模型为例:这些任务需要在极其短的时间窗口内对海量数据集进行扫描和计算,而内存带宽直接决定了每次风险计算的总耗时。. 

在 STAC-A2 金融风险分析基准测试中,配备 MRDIMM 的平台已创下新的性能纪录,大幅缩短了定量模型的计算周期。 MRDIMM 的优势在于在提供高带宽的同时,其延迟表现优于 LRDIMM 等大容量内存,既满足“速度”要求,又满足“稳定性”要求。 对于对交易速度和计算及时性高度敏感的金融机构而言,MRDIMM 提供了一种从传统 DDR 架构中进一步榨取性能的选择。.

高密度云计算与虚拟化

随着单台服务器的CPU核心数突破100核大关,云服务提供商和企业数据中心面临一个新问题:每核可用内存带宽持续下降,这影响了云实例和虚拟机的性能表现。在高密度虚拟化场景中,单台服务器可能托管数十台虚拟机,而每台虚拟机的内存带宽都极为有限。. 当多个租户同时运行占用大量内存的工作负载时,带宽争用很容易导致性能波动,从而危及服务级别协议(SLA)的合规性。. 

MRDIMM 可提升系统总内存带宽,从而间接增加每个内核和每个虚拟机(VM)可用的平均带宽,进而支持更高的虚拟机密度。对于云服务提供商而言,这意味着每台服务器可托管更多的云实例,从而提高硬件利用率和投资回报率。对于企业私有云而言,它则能增强多租户环境中的性能稳定性。.

行业现状与未来趋势

MRDIMM产业链分为三个层级。上游接口芯片层的技术门槛最高;蒙太奇科技(Montage Technology)作为JEDEC标准的主要引领企业之一,是MRCD/MDB芯片的全球关键供应商,其第二代产品已实现量产出货。 中游模块供应商包括三星、美光、SK海力士等,均已推出覆盖多个容量级别的MRDIMM产品。下游CPU平台目前以英特尔至强6(Intel Xeon 6)为核心,这是首个原生支持MRDIMM的服务器平台。 总体而言,MRDIMM目前正处于从早期验证向大规模试用部署的过渡阶段:第一代8800 MT/s产品已投入量产,并在领先的云服务提供商和人工智能企业中进行了小规模部署;而第二代12800 MT/s产品则处于大规模验证阶段。.

未来两到三年将是MRDIMM迈向主流应用的关键窗口期,这主要由三大核心因素驱动:AI推理对KV缓存带宽需求的激增、随着量产规模扩大而缩小的成本差距,以及更多CPU平台对其支持范围的扩大。 根据JEDEC的路线图,MRDIMM将沿着8800 MT/s、12800 MT/s和16000 MT/s的轨迹持续迭代。 在DDR6标准实现大规模部署之前,MRDIMM将成为DDR内存生态系统内核心的带宽升级路径,以分层、差异化的方式与HBM互补,共同满足AI时代CPU端和加速器端的内存需求。.

回顾存储技术的发展历程,每次架构创新都发生在计算能力和带宽严重失衡的时刻。 MRDIMM正是人工智能计算爆发式增长的产物。它并非试图颠覆DDR内存的基本架构,而是通过巧妙的多路复用架构,在现有生态系统内实现了带宽的飞跃。随着人工智能推理和高性能计算(HPC)需求的持续增长,以及CPU平台生态系统的日趋成熟, 预计MRDIMM将从可选的高端服务器组件,演变为AI时代CPU侧主内存的主流配置,并与HBM协同工作,构建一个分层且互补的内存层次结构,以支撑下一代计算基础设施的持续演进。.

滚动至顶部

联系我们

请填写下表,我们将尽快与您联系。

联系表单产品