AI 데이터센터는 SSD나 HDD만 사용하지 않습니다. 일반적으로 두 가지 유형의 드라이브를 모두 하이브리드 방식으로 배포합니다. 뛰어난 성능을 갖춘 SSD는 빠른 속도가 요구되는 AI 작업의 핵심 워크로드를 처리하며 컴퓨팅 성능을 극대화하는 주요 수단으로 활용됩니다. HDD는 대용량과 저렴한 비용으로 방대한 양의 데이터를 저장하고 보관하는 역할을 담당합니다. 이 두 가지가 함께 작동하여 완벽한 스토리지 시스템을 구성합니다.
하이브리드 배포가 필요한 이유
AI 데이터 센터는 다음과 같은 하이브리드 배포를 채택합니다. SSD 및 HDD 성능과 비용 면에서 서로 보완적인 강점을 가지고 있기 때문입니다. SSD는 움직이는 부품이 없고 전적으로 전자 신호를 통해 데이터를 읽고 쓰므로 매우 빠릅니다. 지연 시간은 일반적으로 마이크로초 단위로 측정되며, 임의 읽기/쓰기 성능(IOPS)는 HDD보다 수백, 수천 배 더 높습니다. 이러한 특성 덕분에 SSD는 AI 학습 및 추론의 빠른 데이터 액세스 속도 요구 사항을 충족할 수 있습니다. 반면 HDD는 회전하는 디스크의 데이터를 읽고 쓰기 위해 자기 헤드에 의존합니다. 기계적 구조로 인해 지연 시간은 밀리초 단위로 측정되며, 랜덤 읽기/쓰기 성능은 SSD보다 훨씬 낮습니다. 하드디스크의 장점은 비용에 있습니다.
| 기능 | SSD | HDD |
|---|---|---|
| 작동 원리 | 플래시 메모리 기반, 움직이는 부품 없음 | 마그네틱 헤드는 회전하는 디스크, 움직이는 부품을 읽고 씁니다. |
| 지연 시간 | 마이크로초 수준 | 밀리초 수준 |
| 랜덤 읽기/쓰기 성능 | 매우 높음(HDD보다 수백 배 높은 IOPS) | 상대적으로 낮음 |
| TB당 비용 | HDD의 약 10~20배 | 상대적으로 낮음 |
| 드라이브당 최대 용량 | 128TB-245TB 수준 달성 | 32TB 이상 도달(HAMR 기술) |
| 전력 효율성 | HDD보다 훨씬 낮은 TB당 전력 소비 | 연속 회전, 상대적으로 높은 전력 소비 |
에 따르면 VDURA 데이터 2026년 1분기부터 30TB QLC 엔터프라이즈 SSD의 단위 용량당 비용은 같은 용량의 HDD의 22.6배에 달했습니다. 30TB TLC 엔터프라이즈 SSD의 가격은 약 $에서 상승했습니다.3,062 지난 1년 동안 17,500달러가 상승한 반면, HDD 가격은 같은 기간 동안 약 35% 상승하는 데 그쳤습니다. 이러한 격차로 인해 순수 SSD 솔루션은 점점 더 경제성이 떨어지고 있습니다.
일반적인 데이터센터 구성에 대한 VDURA의 모델링에 따르면 3년 수명 주기 동안 하이브리드 스토리지 시스템의 총소유비용은 약 $입니다.731만, 순수 SSD 시스템은 약 $입니다.31.06만. 하이브리드 솔루션의 3년 비용은 순수 SSD 솔루션의 약 4분의 1 수준입니다. 간단히 말해, SSD는 속도를 제공하고 HDD는 용량과 비용 제어를 제공합니다. 둘 다 대체할 수 없는 가치를 지니고 있으므로 오늘날 데이터센터에서는 하이브리드 구축이 불가피한 선택입니다.
핵심 AI 운영을 위한 스토리지 선택 로직
데이터 준비 단계 는 원시 데이터를 처리합니다. 이 단계에서는 주로 대규모 순차 읽기가 이루어지며, 높은 랜덤 읽기/쓰기 성능은 필요하지 않지만 상당한 용량이 요구됩니다. 업계에서는 대부분 HDD 기반 스토리지 솔루션을 채택하며, 핫 데이터의 액세스 속도를 개선하기 위해 일부 SSD 캐시를 보완합니다.
모델 트레이닝 단계 는 스토리지 성능 요구 사항이 가장 높습니다. 전체 프로세스에서 대량의 훈련 샘플을 지속적으로 읽고 모델 체크포인트 파일을 자주 작성해야 하므로 데이터 처리량이 매우 많이 요구됩니다. HDD를 기본 스토리지로 사용하면 고유한 지연 시간으로 인해 데이터 공급이 GPU 연산에 뒤처져 컴퓨팅 주기가 유휴 상태가 되고 하드웨어 활용도가 크게 떨어질 수 있습니다. 따라서 트레이닝 클러스터에서 NVMe SSD는 GPU 서버와 공유 스토리지 클러스터에 모두 로컬로 배포됩니다. 병렬 파일 시스템을 구축하기 위해 RDMA 및 NVMe-oF와 같은 기술이 사용되어 멀티 GPU 클러스터를 위한 지속적인 데이터 스트림을 제공합니다.
추론 제공 단계 에는 낮은 응답 지연 시간과 높은 동시성 용량이라는 두 가지 핵심 요구 사항이 있습니다. 주류의 대규모 언어 모델 애플리케이션과 검색 증강 생성(RAG) 서비스는 대량의 KV 캐시 및 벡터 검색 요청을 생성합니다. 이러한 유형의 데이터 액세스는 매우 무작위적이고 지연 시간에 민감하므로 SSD에서 실행되어야 합니다. 추론에 사용되는 모델 가중치와 벡터 데이터베이스도 NVMe SSD에 완전히 배포되어 빠른 첫 토큰 생성 시간과 전반적인 서비스 안정성을 보장합니다. HDD는 추론에서 과거 로그, 자주 액세스하지 않는 지식 기반 및 백업 파일을 저장하는 보조적인 역할만 수행하며 실시간 프론트엔드 서비스에는 참여하지 않습니다.
멀티 계층 스토리지 아키텍처
오늘날의 성숙한 AI 데이터센터는 모두 계층형 스토리지 아키텍처를 채택하고 있습니다. 데이터는 액세스 빈도 및 성능 요구 사항에 따라 핫, 웜, 콜드의 세 가지 계층으로 나뉘며, 성능과 비용의 균형을 맞추기 위해 하드웨어 구성이 그에 따라 변경됩니다.
- 핫 티어 는 서버의 메모리, 고대역폭 GPU 메모리, 로컬 NVMe SSD를 포함한 아키텍처에서 가장 성능이 높은 부분입니다. 총 용량은 전체 스토리지 공간에서 5%~20%에 불과합니다. 이 계층에는 모델 가중치, 실시간 캐시, 자주 사용되는 훈련 데이터가 저장됩니다. 이는 GPU 효율성을 직접 결정하며 AI 워크로드의 원활한 작동을 보장하는 핵심 링크입니다.
- 따뜻한 계층 는 일반적으로 고용량 QLC NVMe SSD 또는 고성능 HDD를 사용하며, 경우에 따라 SSD 캐시로 가속화된 HDD 어레이를 사용하기도 합니다. 정리된 데이터 세트와 일반적으로 사용되는 모델 파일과 같이 적당히 액세스되는 데이터를 저장하여 성능, 용량, 비용 간의 균형을 맞춥니다.
- 콜드 티어 데이터센터 스토리지 용량의 80% 이상을 차지합니다. 기본 하드웨어는 엔터프라이즈 HDD 어레이로 구성되며, 일부 초대형 클러스터에는 테이프 라이브러리도 통합되어 있습니다. 원시 코퍼라, 만료된 데이터, 전체 백업과 같이 거의 액세스하지 않는 콜드 데이터를 저장하는 데 전용되어 전체 구축 비용을 최대한 제어할 수 있습니다.
업계 현황 및 기술 동향
전체 용량 점유율 측면에서 볼 때, HDD는 오늘날에도 여전히 AI 데이터센터의 전체 스토리지 용량 중 약 80%를 차지하며 대용량 데이터의 기반이 되고 있습니다. SSD는 성능은 뛰어나지만 비용 제약으로 인해 용량 점유율이 상대적으로 제한적입니다. 성장 추세를 살펴보면, AI 산업의 호황이 두 가지 유형의 스토리지 제품에 대한 수요를 견인하고 있습니다. 그러나 연평균 성장률은 엔터프라이즈 SSD 는 HDD보다 훨씬 높은 수치로, AI 시나리오에서 고성능 스토리지의 필수적인 역할을 반영합니다.
플래시 메모리 기술이 발전함에 따라 대용량 QLC SSD가 점점 더 널리 보급되고 있으며, HDD가 차지했던 따뜻한 데이터 시장을 점차 잠식하고 있습니다. 적당히 액세스되는 일부 데이터는 SSD 스토리지로 이동하기 시작했습니다. 그러나 장기적으로는 HDD가 완전히 대체되지는 않을 것입니다. 페타바이트급 또는 엑사바이트급 콜드 데이터 아카이빙 시나리오에서 HDD는 단위 용량당 비용으로 인해 여전히 대체 불가능한 반면, SSD는 물리적 특성과 가격의 제약으로 인해 대용량 아카이빙 스토리지를 완전히 대체하기는 어려울 것입니다. 계층화된 방식으로 함께 작동하는 두 가지 하드웨어 유형의 장기적인 공존이 향후 AI 데이터센터의 주류 스토리지 모델이 될 것입니다.
SSD와 HDD는 경쟁하는 대안이 아니라 AI 데이터센터의 스토리지 아키텍처에서 상호 보완적인 구성 요소입니다. NVMe 기반 SSD는 고성능 핵심 워크로드를 처리하여 AI 컴퓨팅을 최대한 활용할 수 있도록 지원합니다. 엔터프라이즈 HDD는 대용량과 저렴한 비용으로 대용량 데이터의 스토리지 요구사항을 충족합니다. 하이브리드 계층형 구축 모델은 성능, 용량, 비용이라는 세 가지 필수 요소의 균형을 맞춥니다. 이는 오늘날 AI 데이터센터를 위한 가장 합리적인 스토리지 솔루션이며, 가까운 미래에도 계속 유지될 것입니다.
