Центры обработки данных искусственного интеллекта не используют исключительно SSD или HDD. Как правило, они используют оба типа дисков в гибридном режиме. Твердотельные накопители, обладающие превосходной производительностью, выполняют основные рабочие нагрузки в операциях искусственного интеллекта, требующих высокой скорости, и служат основным средством раскрытия вычислительной мощности. Жесткие диски, благодаря своей большой емкости и низкой стоимости, обеспечивают хранение и архивирование огромных объемов данных. Эти два устройства вместе образуют полноценную систему хранения данных.
Почему необходимо гибридное развертывание
Центры обработки данных с искусственным интеллектом используют гибридное развертывание Твердотельные накопители и жесткие диски В первую очередь потому, что эти два устройства обладают очевидными взаимодополняющими преимуществами в плане производительности и стоимости. Твердотельные накопители не имеют движущихся частей и считывают и записывают данные исключительно с помощью электронных сигналов, что делает их чрезвычайно быстрыми. Их задержка обычно измеряется в микросекундах, а производительность случайного чтения/записи (IOPS) в сотни и даже тысячи раз выше, чем у жестких дисков. Эти характеристики позволяют твердотельным накопителям удовлетворять высоким требованиям к скорости доступа к данным, предъявляемым при обучении и выводах ИИ. Жесткие диски, напротив, используют магнитные головки для чтения и записи данных на вращающихся дисках. Из-за механической структуры их время ожидания измеряется миллисекундами, а производительность случайного чтения/записи намного ниже, чем у твердотельных накопителей. Их преимущество заключается в стоимости.
| Характеристика | SSD | HDD |
|---|---|---|
| Принцип работы | На основе флэш-памяти, без движущихся частей | Магнитная головка читает/записывает на вращающихся дисках, задействованы движущиеся части |
| Латентность | Микросекундный уровень | Миллисекундный уровень |
| Производительность при случайном чтении/записи | Очень высокая производительность (IOPS в сотни раз выше, чем у HDD) | Относительно низкий |
| Стоимость одного ТБ | Примерно в 10-20 раз больше, чем у HDD | Относительно низкий |
| Максимальная емкость одного диска | Достижение уровня 128 ТБ-245 ТБ | Достижение объема 32 ТБ и выше (технология HAMR) |
| Энергоэффективность | Мощность на ТБ значительно ниже, чем у HDD | Непрерывное вращение, относительно высокое энергопотребление |
Согласно Данные VDURA С первого квартала 2026 года стоимость единицы емкости корпоративных твердотельных накопителей QLC объемом 30 ТБ достигла 22,6 раза по сравнению с жесткими дисками той же емкости. Цена корпоративных твердотельных накопителей TLC емкостью 30 ТБ выросла примерно с $3,062 17 500 за последний год, в то время как цены на HDD за тот же период выросли всего на 35%. Такой разрыв делает чистые SSD-решения все более недоступными по цене.
Проведенное компанией VDURA моделирование типичной конфигурации центра обработки данных показывает, что в течение трехлетнего жизненного цикла общая стоимость владения гибридной системой хранения данных составляет примерно $7,31 миллиона, в то время как чистая SSD-система стоит примерно $31,06 миллиона. Трехлетняя стоимость гибридного решения примерно на четверть выше стоимости чистого SSD-решения. Одним словом, твердотельные накопители обеспечивают скорость, а жесткие диски - емкость и контроль затрат. И те, и другие имеют незаменимую ценность, поэтому гибридное развертывание - это, по сути, неизбежный выбор для современных центров обработки данных.
Логика выбора хранилища для основных операций искусственного интеллекта
Этап подготовки данных обрабатывает необработанные данные. На этом этапе в основном происходит крупномасштабное последовательное чтение, которое не требует высокой производительности случайного чтения/записи, но требует значительной емкости. В отраслевой практике чаще всего используются решения для хранения данных на базе жестких дисков, дополненные SSD-кэшем для повышения скорости доступа к "горячим" данным.
Этап обучения модели предъявляет самые высокие требования к производительности хранения данных. Весь процесс требует непрерывного чтения массивных обучающих образцов и частой записи файлов контрольных точек модели, что создает чрезвычайно высокие требования к пропускной способности данных. Если бы в качестве основного хранилища использовались жесткие диски, присущая им задержка привела бы к тому, что поставка данных отставала бы от вычислений GPU, что привело бы к простою вычислительных циклов и значительному снижению коэффициента использования оборудования. Поэтому в учебных кластерах твердотельные накопители NVMe развертываются как локально на серверах GPU, так и в кластерах с общим хранением данных. Такие технологии, как RDMA и NVMe-oF, используются для создания параллельных файловых систем, обеспечивающих непрерывный поток данных для кластеров с несколькими GPU.
Этап обслуживания выводов предъявляет два основных требования: низкая задержка ответа и высокая пропускная способность. Основные приложения с большими языковыми моделями и сервисы с расширенным поиском (RAG) генерируют большое количество запросов к кэшу KV и векторному поиску. Эти типы доступа к данным являются высокопроизвольтными и чувствительными к задержкам, поэтому они должны работать на твердотельных накопителях. Весовые коэффициенты моделей и базы векторов, используемые при выводе, также полностью развернуты на твердотельных накопителях NVMe, чтобы обеспечить быстрое время до первого токена и общую стабильность сервиса. Жесткие диски играют лишь вспомогательную роль в процессе вычисления, храня исторические журналы, базы знаний с редким доступом и файлы резервных копий - они не участвуют в работе внешних сервисов в режиме реального времени.
Многоуровневая архитектура хранения данных
В современных центрах обработки данных с искусственным интеллектом используется многоуровневая архитектура хранения. Данные делятся на три уровня - "горячий", "теплый" и "холодный" - в зависимости от частоты доступа и требований к производительности, а конфигурация оборудования меняется соответствующим образом, чтобы сбалансировать производительность и стоимость.
- Горячий ярус это самая высокопроизводительная часть архитектуры, включающая память, память GPU с высокой пропускной способностью и локальные твердотельные накопители NVMe в серверах. Его общая емкость составляет от 5% до 20% от общего объема хранилища. На этом уровне хранятся весовые коэффициенты моделей, кэш реального времени и часто используемые данные обучения. Он напрямую определяет эффективность GPU и является ключевым звеном, обеспечивающим бесперебойную работу рабочих нагрузок ИИ.
- Теплый ярус Обычно используются твердотельные накопители большой емкости QLC NVMe или высокопроизводительные жесткие диски, а в некоторых случаях - массивы жестких дисков с ускоренным SSD-кэшем. В них хранятся данные с умеренным доступом, такие как очищенные наборы данных и часто используемые файлы моделей, что позволяет найти баланс между производительностью, емкостью и стоимостью.
- Холодный ярус занимают более 80% емкости хранения данных в центре обработки данных. Его основное оборудование состоит из корпоративных массивов жестких дисков; некоторые очень крупные кластеры также включают ленточные библиотеки. Он предназначен для хранения редко используемых "холодных" данных, таких как необработанные корпорации, данные с истекшим сроком хранения и полные резервные копии, что позволяет максимально контролировать общие расходы на развертывание.
Состояние отрасли и технологические тенденции
Что касается общей доли емкости, то на долю жестких дисков по-прежнему приходится около 80% общей емкости хранения в центрах обработки данных ИИ, которые служат основой для хранения массивных данных. Хотя твердотельные накопители превосходят их по производительности, доля их емкости остается относительно ограниченной из-за ограничений по стоимости. Если рассматривать тенденции роста, то бум в индустрии искусственного интеллекта стимулирует спрос на оба типа устройств хранения данных. Однако совокупный годовой темп роста для твердотельные накопители для предприятий значительно выше, чем у жестких дисков, что отражает важную роль высокопроизводительных систем хранения данных в сценариях ИИ.
По мере развития технологии флэш-памяти твердотельные накопители QLC большой емкости становятся все более распространенными и постепенно завоевывают рынки "теплых" данных, которые раньше принадлежали жестким дискам. Некоторые данные с умеренным доступом начинают переходить на SSD-накопители. Однако в долгосрочной перспективе жесткие диски не будут полностью вытеснены. В сценариях архивирования холодных данных петабайтного или экзабайтного масштаба жесткие диски остаются незаменимыми из-за стоимости единицы емкости, а твердотельные накопители, ограниченные физическими характеристиками и ценой, вряд ли полностью займут место архивных хранилищ большой емкости. Долгосрочное сосуществование двух типов оборудования, работающих вместе в многоуровневом режиме, станет основной моделью хранения данных для центров обработки данных с искусственным интеллектом в будущем.
Твердотельные накопители и жесткие диски - это не конкурирующие альтернативы, а взаимодополняющие компоненты в архитектуре хранения данных для центров обработки данных с искусственным интеллектом. Твердотельные накопители на базе NVMe справляются с высокопроизводительными основными рабочими нагрузками, позволяя полностью раскрыть возможности вычислений ИИ. Корпоративные жесткие диски отличаются большой емкостью и низкой стоимостью, обеспечивая потребности в хранении больших объемов данных. Гибридная многоуровневая модель развертывания позволяет сбалансировать производительность, емкость и стоимость - три важнейших фактора. Это наиболее разумное решение для хранения данных в центрах обработки данных с искусственным интеллектом на сегодняшний день и останется таковым в обозримом будущем.
