С началом этапа широкомасштабного внедрения больших языковых моделей (LLM) и инференса ИИ истинное “узкое место” производительности в серверных системах уже давно сместилось с вычислительных блоков на сторону памяти. За последние пять лет количество ядер в серверных процессорах увеличилось почти втрое, однако пропускная способность памяти росла гораздо более медленными темпами, что привело к неуклонному снижению доступной пропускной способности на одно ядро. «Памятная стена» стала основным ограничивающим фактором для раскрытия вычислительного потенциала. При инференции LLM частые операции чтения из KV-кеша еще больше усугубляют эту проблему; во многих сценариях пропускная способность системы напрямую определяется пропускной способностью памяти, а не теоретической вычислительной мощностью процессора. Поскольку традиционная архитектура DDR приближается к своим физическим пределам, MRDIMM с его мультиплексирующей архитектурой, удваивающей эффективную пропускную способность, стал техническим решением нового поколения, позволяющим преодолеть «бутылочные горлышки» памяти.
Что такое MRDIMM?
MRDIMM — это аббревиатура от Multiplexed Rank Dual In-line Memory Module (мультиплексированный модуль памяти с двумя рядами и двойным рядовым разъемом). Его отличительная особенность заключается в следующем: без увеличения собственной тактовой частоты самих микросхем DRAM модуль использует специальные микросхемы управления, чтобы обеспечить параллельную работу двух рядов, что позволяет удвоить эффективную пропускную способность, предоставляемую контроллеру памяти.
Механизм "одной полосы" традитивной памяти
В традиционной памяти DDR каждый ранг работает по принципу “однополосного” доступа. В типичном модуле памяти с двумя рангами микросхемы DRAM разделены на два независимых ранга, которые используют одну и ту же шину данных. Из-за ограничений протокола DDR память может активировать для передачи данных только один ранг за раз, оставляя другой ранг в состоянии ожидания. Это похоже на однополосную автомагистраль: даже если в очереди стоят две колонны автомобилей, в любой момент времени может проехать только одна из них, поэтому общая пропускная способность дороги не увеличивается просто из-за того, что автомобилей стало больше.
Подход MRDIMM, основанный на "объединении двух полос"
Основная инновация MRDIMM заключается в добавлении на модуль набора специальных микросхем мультиплексирующих буферов, что позволяет осуществлять параллельное считывание данных из двух рядов и объединять выходные сигналы внутри модуля. В частности, микросхемы DRAM на обоих рядах одновременно передают данные со стандартной скоростью; микросхемы мультиплексирования осуществляют временное мультиплексирование двух потоков данных внутри модуля, объединяя их в один поток с удвоенной скоростью передачи данных перед отправкой его в контроллер памяти на стороне ЦП. С точки зрения хоста создается впечатление, что он взаимодействует с высокоскоростной памятью, работающей с удвоенной скоростью. Однако с точки зрения микросхем DRAM они по-прежнему работают в пределах своего исходного стандартного диапазона скоростей, что не требует каких-либо модернизаций технологического процесса.
Почему это разумное решение
Прелесть этой архитектуры заключается в том, что она позволяет обойти физическое ограничение скорости, связанное с самими микросхемами DRAM. Простое повышение тактовых частот микросхем повлекло бы за собой целый ряд проблем — нарушение целостности сигнала, рост энергопотребления, снижение выхода готовой продукции и многое другое — при стремительном росте затрат. MRDIMM переносит сложность на микросхемы интерфейса со стороны модуля, обеспечивая увеличение пропускной способности на системном уровне при относительно приемлемых затратах. При этом MRDIMM сохраняет полную совместимость на уровне протоколов. Доступ к данным по-прежнему осуществляется с соблюдением стандартного выравнивания кэш-строк по 64 байта, а все функции обеспечения надежности RAS, такие как коррекция ошибок ECC и изоляция неисправностей, сохраняются. Для адаптации не требуется никаких изменений в наборах команд серверной памяти или программных стеках. Физически MRDIMM имеет точно такую же распиновку, что и стандартные модули DDR5 RDIMM, и может подключаться непосредственно в существующие слоты серверной памяти; для раскрытия всего своего потенциала ему требуется лишь встроенная поддержка со стороны процессора и BIOS.
От 1 чипа до 11 чипов: аппаратные различия между MRDIMM и стандартной памятью
Внешне модуль MRDIMM выглядит практически идентично стандартному модулю DDR5 RDIMM — у него такая же длина, такие же контакты, и он устанавливается в те же слоты для памяти на сервере. Но если перевернуть печатную плату, можно увидеть существенное аппаратное отличие: модуль MRDIMM оснащён дополнительным набором специальных буферных микросхем, которые и составляют аппаратную основу для удвоения пропускной способности. Стандартный модуль DDR5 RDIMM имеет только один центральный микрочип управления, тогда как, согласно официальному стандарту JEDEC, один модуль MRDIMM использует конфигурацию микрочипов “1+10”.
1 MRCD: Центр управления модулем
MRCD — это аббревиатура от «Multiplexed Register Clock Driver» (мультиплексный драйвер тактовой частоты регистров). Это усовершенствованная версия традиционного RCD, которая выполняет роль «управляющего ядра» всего модуля MRDIMM. Основные функции MRCD включают: прием и декодирование адресных, командных и тактовых сигналов от контроллера памяти; координацию синхронизации чтения/записи двух рангов для обеспечения точного совмещения двух потоков данных; а также управление логикой планирования мультиплексирования, чтобы гарантировать отсутствие временного сдвига в объединенном потоке данных. По сравнению со стандартным RCD, MRCD имеет значительно более сложную внутреннюю логику и большее количество функциональных блоков.
10 MDB: параллельный движок для каналов данных
MDB — это сокращение от “Multiplexed Data Buffer” (мультиплексированный буфер данных). Это новый основной компонент модулей MRDIMM и ключ к удвоению пропускной способности по данным. Каждый чип MDB соответствует одной линии передачи данных и отвечает за параллельный приём, буферизацию и временное мультиплексирование соответствующих битов данных с обоих ранков. 10 микросхем MDB совместно охватывают все каналы данных (включая биты четности ECC), объединяя два потока данных внутри модуля и передавая их по шине памяти с удвоенной скоростью. Проще говоря, MRCD отвечает за “планирование команд”, а MDB — за «перемещение данных»; они работают совместно, чтобы завершить весь процесс мультиплексирования.
Практическая производительность MRDIMM
Пропускная способность: рост в два раза и более
Пропускная способность является основным показателем производительности MRDIMM и её наиболее отличительной особенностью по сравнению с другими типами памяти.
Модули MRDIMM первого поколения работают со стандартной скоростью 8800 МТ/с, обеспечивая теоретическую пропускную способность 70,4 ГБ/с на канал. По сравнению с широко распространёнными на сегодняшний день серверными модулями DDR5-6400 RDIMM (51,2 ГБ/с) это означает увеличение пропускной способности примерно на 37,51 TP6T; по сравнению с платформой DDR5-5600 предыдущего поколения прирост превышает 401 TP6T. Для рабочих нагрузок, у которых пропускная способность памяти уже является узким местом, это улучшение может почти линейно отразиться на росте производительности бизнеса. MRDIMM второго поколения повышает скорость до 12800 МТ/с, преодолевая барьер в 100 ГБ/с на канал и достигая показателя, ровно вдвое превышающего показатель DDR5-6400. Согласно дорожной карте JEDEC, MRDIMM третьего поколения нацелено на 16000 МТ/с, продолжая курс на удвоение пропускной способности.
Стоит отметить, что данное увеличение пропускной способности представляет собой реальное повышение “эффективной пропускной способности”, а не теоретический прирост за счет суммирования емкостей. Это означает, что контроллер памяти действительно может передавать и принимать больше данных в секунду — что является фундаментальным преимуществом для рабочих нагрузок, требующих высокой пропускной способности.
Задержка: неожиданное преимущество наряду с высокой пропускной способностью
Память с высокой пропускной способностью, как правило, характеризуется более высокой задержкой, однако MRDIMM представляет собой исключение из этого правила. По сравнению со стандартными модулями DDR5 RDIMM, MRDIMM фактически обеспечивает более низкую эффективную задержку доступа при рабочих нагрузках, чувствительных к пропускной способности, с сокращением до 40%. Этот неожиданный результат обусловлен более высокой эффективной скоростью передачи данных MRDIMM (8800 МТ/с). По сравнению с модулями RDIMM со скоростью 6400 МТ/с модули MRDIMM затрачивают меньше времени на передачу того же объема данных, что приводит к снижению общей задержки доступа в условиях высокой нагрузки и большой глубины очереди. Это подтверждают реальные измерения компании Micron на платформе Intel Xeon 6: с помощью инструментов тестирования задержки памяти модули MRDIMM демонстрируют значительно лучшие показатели задержки, чем модули DDR5 RDIMM на той же платформе в условиях интенсивного использования пропускной способности.
Ожидается, что по сравнению с LRDIMM преимущество MRDIMM в плане задержки будет ещё более выраженным. В модулях LRDIMM, для поддержки большей ёмкости и большего количества рядов, на пути передачи данных добавляются дополнительные буферные уровни, что приводит к значительным накладкам по задержке. Архитектура мультиплексирования MRDIMM, напротив, отличается более оптимизированной конструкцией буферов на пути передачи данных, что обеспечивает больший запас для оптимизации временных характеристик. Благодаря этому MRDIMM становится одним из немногих решений в области памяти, предлагающих одновременно “высокую пропускную способность” и “относительно низкую задержку”, что делает его особенно подходящим для таких сценариев, как количественные финансовые расчеты и аналитика в реальном времени, где требуются оба этих параметра.
Энергоэффективность и абсолютное энергопотребление
С точки зрения пропускной способности на ватт модули MRDIMM демонстрируют лучшие показатели: энергопотребление на 1 ГБ переданных данных ниже, чем у традиционных модулей RDIMM. Это объясняется тем, что рост энергопотребления микросхемы интерфейса значительно меньше, чем рост пропускной способности, поэтому с точки зрения “стоимости передачи одного бита” они являются более эффективными. Однако с точки зрения абсолютного энергопотребления на модуль MRDIMM значительно превосходит стандартную память. Типичный модуль DDR5 RDIMM потребляет около 10–12 ватт, тогда как модуль MRDIMM — от 18 до 21 ватт, что почти вдвое больше. Эта дополнительная мощность в основном приходится на 10 микросхем MDB и 1 микросхему MRCD. Для центров обработки данных это означает, что внедрение модулей MRDIMM требует одновременного увеличения мощности системы электропитания и мощности системы охлаждения; совокупная стоимость владения включает не только саму закупку памяти, но и инвестиции в инфраструктуру.
MRDIMM, RDIMM, LRDIMM и HBM
| Тип памяти | Основное позиционирование | Типичная скорость | Основные преимущества | Уровень затрат | Типичные случаи использования |
|---|---|---|---|---|---|
| UDIMM | Потребительская память без буфера | 4800–6400 МТ/с | Низкая задержка, низкая стоимость | Низкий | Настольные компьютеры, рабочие станции начального уровня |
| RDIMM | Стандартный объем памяти сервера | 4800–6400 МТ/с | Стабильный, сбалансированный, широко совместимый | Средний | Серверы общего назначения, виртуализация |
| LRDIMM | Память высокой плотности и большой ёмкости | 4800–5600 МТ/с | Очень высокая пропускная способность на модуль, поддержка конфигураций с высокой плотностью | Средний–высокий | Базы данных в памяти, узлы с высокой пропускной способностью |
| MRDIMM | Серверная память с высокой пропускной способностью | 8800–12800 МТ/с | Удвоенная пропускная способность, хорошая задержка, совместимость со слотами | Выше | Вычисления на базе искусственного интеллекта, высокопроизводительные вычисления, аналитика данных в реальном времени |
| HBM | 3D-многоуровневая память с высокой пропускной способностью | 6400+ МТ/с | Чрезвычайно высокая пропускная способность, размещенная в непосредственной близости от вычислительных блоков | Очень высокий | Графические ускорители, чипы для обучения ИИ |
Важно отметить, что MRDIMM и HBM не являются конкурентами, а представляют собой взаимодополняющие технологии. HBM использует трехмерное слоевое устройство и встраивается непосредственно в графические процессоры (GPU) или ускорители искусственного интеллекта (AI), располагаясь в непосредственной близости от вычислительных блоков для обеспечения памяти с ультравысокой пропускной способностью, расположенной рядом с процессором, однако его емкость ограничена пространством корпуса, а стоимость чрезвычайно высока — эта технология предназначена для ускоренных вычислений на стороне графического процессора. MRDIMM, с другой стороны, устанавливается в стандартные слоты для памяти на материнской плате сервера в качестве основной системной памяти ЦП, при этом емкость одного модуля достигает 256 ГБ или даже больше, а стоимость намного ниже, чем у HBM — эта технология предназначена для универсальных вычислений на стороне ЦП. В типичном сервере искусственного интеллекта видеокарты GPU оснащены памятью HBM для основных вычислений, а сторона ЦП — модулями MRDIMM для системного планирования, предварительной обработки данных и управления кэшем «ключ-значение» (KV Cache) — каждая из них выполняет свою роль и совместно поддерживает рабочие нагрузки искусственного интеллекта.
Четыре основных сценария применения MRDIMM
Вычисления на базе ИИ и обслуживание крупных моделей
Вычисления на основе крупных моделей искусственного интеллекта в настоящее время являются наиболее важным сценарием применения MRDIMM и самым быстрорастущим направлением. В процессе инференции LLM каждый генерируемый токен требует многократного чтения из кэша KV. По мере увеличения параллелизма и роста количества параметров модели объём чтений из кэша KV резко возрастает, и пропускная способность системы зачастую напрямую ограничивается пропускной способностью памяти, а не вычислительной мощностью ЦП.
Удвоенная пропускная способность MRDIMM напрямую приводит к повышению пропускной способности при инференции. В реальных тестах на платформе Intel Xeon 6 серверы, оснащенные MRDIMM, продемонстрировали прирост производительности примерно в 33% при выполнении задач инференции LLM — это означает, что один сервер может обрабатывать больше одновременных запросов, что значительно снижает затраты на инференцию в расчете на один токен. Для серверов инференции на базе ЦП, пограничных узлов инференции и сценариев развертывания моделей малого и среднего размера MRDIMM становится экономически эффективным вариантом повышения производительности.
Высокопроизводительные вычисления
Традиционные рабочие нагрузки в сфере высокопроизводительных вычислений (HPC) — научные вычисления, моделирование погодных условий, численное моделирование, геномика — также являются основными областями применения MRDIMM. Эти приложения, как правило, обрабатывают огромные наборы данных, при этом ядра ЦП непрерывно считывают большие матрицы и массивы из памяти. Как только количество ядер превышает определённый порог, пропускная способность памяти становится «узким местом» в вычислительном конвейере, в результате чего многие ядра простаивают в ожидании данных. Высокая пропускная способность MRDIMM позволяет более эффективно обслуживать многоядерные процессоры, обеспечивая одновременную загрузку большего числа ядер. Для рабочих нагрузок HPC, ограниченных пропускной способностью памяти, прирост производительности благодаря MRDIMM приближается к теоретическому приросту пропускной способности — порядка 30%–40%. Для суперкомпьютерных центров и научно-исследовательских институтов это означает повышение производительности примерно на одно поколение при относительно приемлемых затратах и без замены процессора.
Финансы и аналитика данных в режиме реального времени
Примеры применения в финансовой отрасли — высокочастотная торговля, количественная оценка рисков, хранение данных в режиме реального времени — предъявляют чрезвычайно строгие требования к производительности памяти: не только высокая пропускная способность, но и низкая задержка, а также высокая детерминированность. В качестве примера можно привести расчёты величины риска (VaR) или модели оценки стоимости опционов: для выполнения этих задач требуется сканирование и вычисления по огромным наборам данных в чрезвычайно короткие промежутки времени, а пропускная способность памяти напрямую определяет общее время выполнения каждого расчёта риска.
В тесте STAC-A2 по анализу финансовых рисков платформы, оснащенные модулями MRDIMM, уже установили новые рекорды производительности, значительно сократив время выполнения вычислительных циклов количественных моделей. Преимущество MRDIMM заключается в обеспечении высокой пропускной способности при сохранении задержки на уровне, превосходящем показатели памяти большой емкости, такой как LRDIMM, что позволяет удовлетворить требования как к “скорости”, так и к “стабильности”. Для финансовых учреждений, для которых скорость торговли и своевременность вычислений имеют решающее значение, MRDIMM предлагает возможность еще больше повысить производительность традиционной архитектуры DDR.
Облачные вычисления высокой плотности и виртуализация
По мере того как количество ядер в процессорах отдельных серверов превышает отметку в 100 ядер, поставщики облачных услуг и корпоративные центры обработки данных сталкиваются с новой проблемой: пропускная способность памяти на одно ядро продолжает снижаться, что негативно сказывается на производительности облачных инстансов и виртуальных машин. В сценариях виртуализации с высокой плотностью на одном сервере может размещаться десятки виртуальных машин, каждая из которых имеет весьма ограниченную пропускную способность памяти. Когда несколько арендаторов одновременно выполняют ресурсоемкие рабочие нагрузки, конкуренция за пропускную способность может легко привести к колебаниям производительности, что ставит под угрозу соблюдение соглашения об уровне обслуживания (SLA).
Технология MRDIMM увеличивает общую пропускную способность системной памяти, что косвенно повышает среднюю пропускную способность, доступную на каждое ядро и на каждую виртуальную машину, тем самым обеспечивая более высокую плотность размещения виртуальных машин. Для поставщиков облачных услуг это означает возможность размещения большего числа облачных экземпляров на одном сервере, что повышает коэффициент использования аппаратных ресурсов и окупаемость инвестиций. В случае частных облачных сред корпоративного уровня эта технология повышает стабильность производительности в многопользовательских средах.
Обзор отрасли и будущие тенденции
Промышленная цепочка MRDIMM состоит из трёх уровней. Наиболее высокие технологические барьеры характерны для верхнего уровня — уровня интерфейсных микросхем; компания Montage Technology, являющаяся одним из основных лидеров в разработке стандарта JEDEC, является ключевым мировым поставщиком микросхем MRCD/MDB, а её продукция второго поколения уже поставляется серийно. К поставщикам модулей среднего уровня относятся Samsung, Micron, SK hynix и другие компании, каждая из которых выпустила продукты MRDIMM, охватывающие несколько уровней емкости. Нижний уровень — платформы ЦП — в настоящее время сосредоточен вокруг Intel Xeon 6, первой серверной платформы с встроенной поддержкой MRDIMM. В целом MRDIMM в настоящее время находится на этапе перехода от ранней валидации к масштабному пробному внедрению: продукты первого поколения со скоростью 8800 МТ/с находятся в производстве и уже прошли небольшое внедрение у ведущих облачных провайдеров и компаний, занимающихся искусственным интеллектом, в то время как продукты второго поколения со скоростью 12800 МТ/с находятся на этапе широкомасштабной валидации.
Ближайшие два-три года станут решающим периодом для перехода MRDIMM в массовое использование, чему будут способствовать три основных фактора: резкий рост спроса на пропускную способность кэша KV со стороны систем искусственного интеллекта, сокращение разрыва в стоимости по мере наращивания объемов производства и расширение поддержки со стороны все большего числа платформ процессоров. Согласно дорожной карте JEDEC, MRDIMM будет продолжать развиваться по траектории со скоростями 8800 МТ/с, 12800 МТ/с и 16000 МТ/с. До того как стандарты DDR6 начнут широко внедряться, MRDIMM будет служить основным путем повышения пропускной способности в экосистеме памяти DDR, дополняя HBM многоуровневым и дифференцированным образом, чтобы совместно удовлетворять потребности в памяти как со стороны ЦП, так и со стороны ускорителей в эпоху искусственного интеллекта.
Если оглянуться на историю развития технологий памяти, то каждая архитектурная инновация возникала в тот момент, когда между вычислительной мощностью и пропускной способностью возникал значительный дисбаланс. MRDIMM — это именно результат взрывного роста вычислений в области искусственного интеллекта. Он не стремится перевернуть фундаментальную структуру памяти DDR; напротив, благодаря продуманной архитектуре мультиплексирования он обеспечивает скачок в пропускной способности в рамках существующей экосистемы. По мере того как спрос на инференцию ИИ и высокопроизводительные вычисления (HPC) продолжает расти, а экосистема платформ ЦП становится все более зрелой, ожидается, что MRDIMM превратится из опционального компонента серверов высокого класса в основную конфигурацию основной памяти на стороне ЦП в эпоху искусственного интеллекта, работая совместно с HBM для построения многоуровневой, взаимодополняющей иерархии памяти, которая будет поддерживать непрерывную эволюцию вычислительной инфраструктуры следующего поколения.
