Мы живем в эпоху, движимую искусственным интеллектом. Крупные модели, такие как ChatGPT или Sora, меняют различные отрасли. Однако у этих моделей огромные "аппетиты"; их массивные параметры создают серьезные проблемы для вычислительных систем и систем хранения данных. Когда скорость вычислений чипов высока, а поступление данных не успевает за ней, возникает так называемое "узкое место" - "стена памяти". Технология высокоскоростной флэш-памяти - ключевая инновация, созданная именно для того, чтобы разрушить эту стену и придать мощный импульс системам искусственного интеллекта при более низких затратах.
Что такое HBF? Как достигается "лучшее из двух миров"?
Высокоскоростная флэш-память - это не совсем новый носитель информации, а скорее продуманная архитектурная инновация. Его основная идея заключается в сочетании 3D Флэш-память NAND обычно встречающихся в нашей повседневной жизни (используемых в телефонах и твердотельных накопителях), с передовой технологией упаковки и соединения HBM, которая обычно используется в высокопроизводительных вычислениях. Проще говоря, HBF призвана обеспечить скорость передачи данных в недорогой флэш-памяти высокой емкости, близкую к скорости передачи данных в памяти высокого класса, и тем самым достичь идеального баланса между емкостью, пропускной способностью и стоимостью. Достижение этой цели зависит в первую очередь от двух основных технологических прорывов.
Первая - это технология 3D-стекинга и межсоединений TSV. Успех HBM заключается в вертикальной укладке нескольких чипов DRAM как строительных блоков с использованием сквозных кремниевых отверстий, обеспечивающих высокоскоростную связь по крошечным вертикальным каналам. HBF заимствует эту концепцию, обеспечивая высокую плотность укладки нескольких микросхем флэш-памяти NAND. Такая конструкция значительно сокращает внутренние пути передачи данных внутри чипа, повышает плотность интеграции и закладывает основу для высокой пропускной способности.
Второй и более важный прорыв - архитектура параллельных подмассивов. Хотя традиционная флэш-память NAND обладает большой емкостью, количество каналов, по которым можно одновременно считывать и записывать данные, ограничено. Это похоже на широкую дорогу с небольшим количеством входов и выходов, склонную к образованию заторов. В HBF инновационная структура флэш-памяти разделена на большое количество подмассивов, которые могут работать независимо и параллельно. Каждый подмассив имеет свои собственные независимые каналы чтения/записи. Когда сотни или тысячи таких подмассивов работают одновременно, это равносильно расширению однополосной дороги до высокоскоростной сети с тысячами полос, позволяющей беспрепятственно передавать поток данных, тем самым достигая скачка в общей пропускной способности.
Чтобы нагляднее продемонстрировать уникальное положение HBF, в таблице ниже приведено сравнение его ключевых характеристик с "предшественниками" HBM и традиционными твердотельными накопителями NAND:
| Характеристика | HBF | HBM | Традиционные твердотельные накопители на основе NAND |
|---|---|---|---|
| Основное преимущество | Высокая емкость, высокая пропускная способность, низкая стоимость | Чрезвычайно высокая пропускная способность, сверхнизкая задержка | Высокая производительность, очень низкая стоимость |
| Типовая производительность на стек/чип | До 512 ГБ | Приблизительно 24-48 ГБ | 1 ТБ-2 ТБ |
| Уровень пропускной способности | Очень высокая, близкая к HBM | Экстрим | Относительно низкий |
| Стоимость за единицу | Относительно низкий | Очень высокий | Очень низкий |
| Лучшее приложение | Выводы ИИ, задачи с интенсивным чтением | Обучение искусственному интеллекту, высокопроизводительные вычисления | Хранение данных, архивирование |
Это сравнение интуитивно показывает, что HBF точно заполняет рыночный пробел между HBM и традиционные твердотельные накопители. Он не обладает сверхнизкой задержкой и экстремальной скоростью записи, как HBM, но предлагает гораздо большую емкость и гораздо меньшую стоимость. По сравнению с традиционными твердотельными накопителями он обеспечивает на порядки более высокую пропускную способность, что позволяет использовать его в сценариях, требующих быстрого чтения больших объемов данных.
Технические характеристики, преимущества и проблемы
Ценность высокоскоростной флэш-памяти заключается в уникальном сочетании технических характеристик, которые определяют ее текущие возможности и основные направления применения. Она не всесильна, но превосходит всех в своих областях. Ее текущее состояние можно наглядно представить, сопоставив ее преимущества и проблемы.
Три основных преимущества HBF
Огромная мощность и преимущество в стоимости: При одинаковом физическом пространстве один стек HBF может обеспечить емкость до 512 ГБ, что более чем в 10 раз превышает емкость HBM. На основе флэш-памяти NAND с более низкой стоимостью за единицу, это может значительно снизить общую стоимость владения для систем искусственного интеллекта. Высокая пропускная способность считывания и энергоэффективность: Благодаря параллельной архитектуре пропускная способность при чтении может приближаться к уровню HBM, что позволяет удовлетворить потребности таких задач, как искусственный интеллект, в быстром чтении данных. При этом статическое энергопотребление значительно ниже, чем у DRAM, которая требует постоянного обновления. Точное позиционирование на рынке: Он точно заполняет промежуток между HBM и традиционными SSD, представляя собой идеальное решение для приложений с интенсивным чтением, чувствительных к емкости и стоимости.
Основные проблемы, с которыми сталкивается HBF
Ограничения скорости записи и выносливости: Это неотъемлемые характеристики флэш-памяти NAND. Скорость записи в HBF намного ниже, чем в HBM, а количество циклов стирания/записи в чипах ограничено. Поэтому они не подходят для сценариев обучения моделей ИИ, требующих частой записи данных. Более высокая задержка доступа: Задержка доступа находится на уровне микросекунд. Хотя это не оказывает большого влияния на многие задачи чтения, оно все же намного выше, чем задержка HBM на наносекундном уровне, и не может справиться с приложениями, чрезвычайно чувствительными к задержкам.
В общем, точное понимание текущего состояния HBF таково: это высокопроизводительное решение для хранения данных, оптимизированное для задач с интенсивным чтением. Это не замена HBM, а мощное дополнение. Его ценность заключается в использовании сильных сторон и исключении слабых для решения конкретных задач.
Перспективы развития HBF
По своим характеристикам "Большая емкость, высокая пропускная способность при чтении, низкая стоимость и ограниченная выносливость при записи". Дальнейший путь развития HBF предельно ясен. Она не будет замещать позиции HBM в сфере обучения, а займет свою собственную нишу на рынке и сформирует взаимодополняющую экосистему с существующими технологиями.
Основные сценарии применения
Убийственное применение HBF в основном сосредоточено в следующих направлениях:
Серверы выводов AI Edge. Это наиболее идеальный и перспективный сценарий применения HBF. Развертывание моделей ИИ на пограничных серверах для выводов предполагает рабочие нагрузки, состоящие почти исключительно из операций чтения, часто вызывающих предварительно обученные параметры модели. Это идеально сочетается с такими преимуществами HBF, как высокая пропускная способность при чтении и огромная емкость, и в то же время исключает такие недостатки, как медленная запись и ограниченная выносливость. Кроме того, низкое энергопотребление HBF хорошо подходит для энергочувствительных граничных сред.
Формирование гетерогенной или гибридной архитектуры памяти с HBM. В облачных дата-центрах HBF может служить эффективным расширением емкости HBM. В этой модели HBM выступает в роли высокоскоростного кэша, в котором хранятся "горячие данные", наиболее срочно необходимые для текущих вычислений, в то время как полная массивная модель ИИ хранится в HBF. Различные части параметров модели по мере необходимости быстро пересылаются из HBF в HBM. Такая комбинация обеспечивает привлекательный баланс между производительностью, емкостью и общей стоимостью.
В перспективе ожидается, что технология HBF распространится на устройства для конечных пользователей. Поскольку ПК с искусственным интеллектом и смартфоны высокого класса требуют более мощных локальных возможностей ИИ, интеграция HBF может позволить этим устройствам выполнять локальные модели с большими параметрами, снижая зависимость от облака и лучше защищая конфиденциальность пользователя.
Развитие технологий и процесс индустриализации
Что касается развития технологий, то ведущие компании уже наметили четкие дорожные карты. Например, SandDisk Планируется непрерывная итерация на протяжении трех поколений продуктов, в числе целей - дальнейшее увеличение емкости одного кристалла за пределы 512 ГБ и удвоение пропускной способности чтения по сравнению с текущим уровнем, а также постоянная оптимизация энергоэффективности.
Также начался процесс индустриализации. Сотрудничество между SK Hynix и SandDisk знаменует собой ключевой шаг на пути перехода HBF от исследований и разработок к индустриализации. Индустрия в целом ожидает, что образцы модулей HBF будут доступны во второй половине 2026 года, а первые серверы искусственного интеллекта с интеграцией HBF официально дебютируют в начале 2027 года. По прогнозам аналитиков рынка, к 2030 году HBF может превратиться в рынок объемом в десятки миллиардов долларов США. Хотя его масштабы могут быть меньше, чем у HBM, он станет незаменимой частью инфраструктуры ИИ.
В заключение можно сказать, что будущее HBF заключается в том, чтобы стать ключевым элементом в экосистеме хранения данных ИИ. Его развитие будет тесно связано с задачами, требующими интенсивного чтения, постепенно расширяя возможности следующего поколения приложений ИИ от облака до границ.
