오랫동안 SSD 의 목표는 비교적 명확했습니다. 이 팀의 핵심 임무는 기계식 하드 드라이브시스템의 전반적인 응답성과 데이터 처리량을 개선합니다. 소비자 컴퓨터, 기업용 서버, 데이터센터에 관계없이 SSD의 기술 진화는 기본적으로 더 빠른 순차 읽기/쓰기 속도, 더 큰 용량, 더 낮은 비용, 더 나은 안정성이라는 몇 가지 고정된 목표를 중심으로 진행되었습니다. 하지만 인공지능, 특히 대규모 모델과 딥 러닝의 급속한 발전으로 스토리지 시스템이 직면한 워크로드는 크게 변화했습니다. AI 시나리오에서 데이터는 더 이상 단순히 "읽고, 처리하고, 쓰는" 작업이 아닙니다. 대신 몇 가지 새로운 특성을 나타냅니다:
첫째, 데이터 양이 폭발적으로 증가했습니다. 모델 학습 단계에서 사용되는 방대한 원시 데이터나 추론 단계에서 반복적으로 액세스해야 하는 모델 매개변수 및 벡터 데이터베이스 등, 데이터 크기는 기존 애플리케이션의 데이터 크기를 훨씬 초과합니다.
둘째, 액세스 패턴이 근본적으로 바뀌었습니다. AI 워크로드에는 기존 스토리지 시스템이 더 잘 처리하는 대규모 블록의 순차적 읽기 및 쓰기보다는 소규모의 무작위, 동시성이 높은 데이터 블록 액세스가 많이 포함되는 경우가 많습니다.
셋째, 스토리지가 계산 효율성에 직접적인 영향을 미치기 시작했습니다. AI 서버에서 GPU 또는 기타 가속기의 컴퓨팅 성능은 매우 빠르게 성장하고 있습니다. 스토리지 시스템이 데이터 공급 속도를 따라잡지 못하면 '컴퓨팅 유휴 상태'가 발생하여 전체 시스템 효율성이 저하됩니다.
이러한 배경에서 AI SSD의 개념이 자주 언급되기 시작했고 점차 개념에서 구체적인 제품 및 기술 로드맵으로 옮겨가기 시작했습니다.
AI SSD란 무엇인가요?
이 개념을 처음 접하는 많은 사람들에게 'AI SSD'는 자체적으로 '학습'하거나 '최적화'할 수 있는 AI 알고리즘을 솔리드 스테이트 드라이브 내부에 통합한 제품으로 오해하기 쉽습니다. 그러나 업계 주류의 정의에 따르면 이러한 이해는 정확하지 않습니다. AI SSD의 핵심은 "SSD 내부에 AI가 있는지 여부"가 아니라 "SSD가 AI 워크로드를 위해 탄생했는지 여부"입니다. 더 정확하게 말하면, AI SSD는 AI 학습, 추론 및 데이터 서비스 시나리오에 매우 최적화된 일종의 솔리드 스테이트 스토리지 장치입니다. 이러한 최적화에는 하드웨어 수준의 아키텍처 설계와 펌웨어, 프로토콜, 시스템 협업 방법의 변경이 모두 포함됩니다. 기능적 포지셔닝 측면에서 볼 때, AI SSD는 여전히 저장 장치이며 GPU나 CPU의 연산 역할을 대체하지는 않습니다. 하지만 그 목표는 매우 분명합니다. AI 시스템에서 스토리지로 인한 성능 제한을 최소화하는 것입니다.
AI 시나리오에서 기존 SSD의 실제적인 병목 현상
AI SSD의 가치를 이해하려면 먼저 기존 SSD가 AI 시나리오에서 직면하는 문제를 명확히 파악해야 합니다.
- 지연 시간은 대역폭보다 더 중요한 지표가 됩니다.기존 애플리케이션에서, 순차 읽기/쓰기 대역폭은 종종 7GB/s 또는 14GB/s와 같이 SSD 성능을 평가하는 데 중요한 지표가 됩니다. 하지만 AI 시나리오에서는 레이턴시의 중요성이 피크 대역폭을 능가하는 경우가 많습니다. AI 작업에는 많은 수의 세분화된 데이터 요청이 포함되기 때문입니다. 각 액세스가 수십 마이크로초 동안 대기해야 하는 경우, 요청당 데이터 양이 적더라도 누적 효과로 인해 전체 진행 속도가 크게 느려집니다. 많은 엔터프라이즈 SSD의 일반적인 액세스 지연 시간은 40~100마이크로초로, 데이터베이스나 가상화 시나리오에서는 허용 가능한 수준이지만 대규모 AI 추론이나 학습에서는 상대적으로 높게 나타납니다.
- IOPS는 더 이상 "충분히 좋은" 수치가 아닙니다. IOPS(초당 입출력 작업 수)는 오랫동안 SSD의 핵심 지표 중 하나였지만, 기존 비즈니스에서는 수십만 IOPS에 도달하는 것으로 충분했던 경우가 많았습니다. AI 워크로드는 완전히 다릅니다. 벡터 검색, 매개변수 로딩, 모델 샤딩 액세스와 같은 시나리오에서는 매우 많은 수의 랜덤 읽기 요청이 발생합니다. 이러한 경우 기존 SSD의 IOPS는 빠르게 시스템 병목현상을 일으킵니다. 그렇기 때문에 AI SSD 기술에 대한 논의에서 과거에는 매우 드물었던 수백만 또는 수천만 IOPS의 목표치를 언급하는 경우가 많습니다.
- CPU는 "전송 병목 현상"이 발생합니다. 기존 서버 아키텍처에서 SSD와 GPU 사이의 데이터 경로는 일반적으로 다음과 같습니다: SSD → CPU → 메모리 → GPU입니다. 이 모델은 범용 컴퓨팅 시대에는 잘 작동했지만 AI 서버에서는 명백한 문제점을 노출합니다. 한편으로는 CPU가 대량의 데이터 이동을 처리해야 하고, 다른 한편으로는 이 경로 자체가 추가적인 지연 시간을 유발합니다. GPU 컴퓨팅 성능이 계속 향상됨에 따라 'CPU를 돌아 GPU에 도달하는' 이 데이터 경로는 전체 시스템 효율을 제약하는 요인이 되고 있습니다.
AI SSD와 기존 SSD의 포지셔닝 차이점
이 둘의 차이점을 보다 직관적으로 이해하기 위해 "디자인 시작점"이라는 관점에서 비교해 볼 수 있습니다.
| 비교 차원 | 기존 SSD | AI SSD |
|---|---|---|
| 주요 목표 | 범용 성능과 비용 간의 균형 | AI 워크로드를 위한 탁월한 효율성 |
| 최적화 초점 | 순차적 읽기/쓰기, 용량, 안정성 | 짧은 지연 시간, 높은 IOPS, 높은 동시성 |
| 일반적인 애플리케이션 | PC, 서버, 데이터베이스 | AI 학습, 추론, 벡터 검색 |
| 데이터 액세스 패턴 | 혼합, 주로 순차적 | 소규모 블록, 무작위, 높은 동시성 |
| 시스템 협업 | CPU 중심 | GPU/가속기에 더 가까이 |
AI SSD는 기존 SSD를 대체하기 위한 것이 아니라는 점을 강조하는 것이 중요합니다. 대부분의 범용 시나리오에서는 기존 SSD가 여전히 더 합리적이고 비용 효율적인 선택입니다. AI SSD의 존재는 이미 AI 워크로드에 의해 "한계에 도달한" 시스템을 지원하기 위한 것입니다.
AI SSD의 핵심 포지셔닝
시스템 관점에서 AI SSD의 본질적인 역할은 한 문장으로 요약할 수 있습니다. 단순히 데이터 자체를 저장하는 것이 아니라 AI 컴퓨팅 장치에 데이터를 효율적이고 안정적이며 지속적으로 제공하는 것입니다. 이러한 목표를 달성하기 위해 AI SSD는 일반적으로 다음과 같은 방향으로 최적화에 중점을 둡니다:
- 매우 짧은 접속 지연 시간
- 매우 높은 랜덤 IOPS 기능
- AI 데이터 액세스 패턴에 더 적합한 내부 아키텍처
- 더욱 긴밀한 시스템 수준의 협업 방법
이러한 특성은 단순히 파라미터를 쌓아 올리는 것만으로는 달성할 수 없으며, SSD의 컨트롤러 설계, 플래시 메모리 관리 전략, 심지어 시스템 인터페이스 방식까지 다시 생각해야 하는 경우가 많습니다.
AI SSD의 주요 기술적 특징 및 아키텍처 접근 방식
AI SSD는 단순히 기존 엔터프라이즈 SSD를 가져와 컨트롤러 성능을 높이고, 플래시 메모리를 더 추가하고, 인터페이스 속도를 극대화하여 AI 시나리오에 자연스럽게 맞추는 것이 아닙니다. 진정한 어려움은 AI 워크로드의 액세스 패턴과 기존 스토리지 애플리케이션 간의 구조적 차이에 있습니다. AI SSD의 기술적 진화는 본질적으로 데이터 액세스 패턴을 중심으로 한 재설계입니다.
매우 짧은 지연 시간
AI 시스템에서 스토리지 지연 시간은 종종 컴퓨팅 리소스의 사용률을 직접적으로 결정합니다. GPU를 예로 들면, GPU의 컴퓨팅 성능은 스토리지 시스템보다 훨씬 빠르게 증가하고 있습니다. 데이터를 기다리는 동안 GPU가 유휴 상태이면 이론적으로 GPU의 컴퓨팅 성능이 높더라도 실제 처리량은 크게 떨어집니다. 이 경우 평균 지연 시간만으로는 충분하지 않으며 테일 레이턴시가 훨씬 더 중요합니다. 비정상적인 지연 시간을 가진 단일 IO 작업은 전체 배치의 실행 속도를 저하시킬 수 있습니다.
기존 엔터프라이즈 NVMe SSD의 액세스 지연 시간은 일반적으로 수십 마이크로초 수준이며, 이는 매우 성숙하고 안정적인 결과입니다. 하지만 AI 시나리오에서 업계는 지연 시간을 10마이크로초 또는 한 자릿수 마이크로초 수준으로 더욱 압축하기 위해 노력하고 있습니다. 이를 달성하기 위해서는 단순히 인터페이스 속도를 높이는 것뿐만 아니라 다음과 같은 영역에서 체계적인 최적화가 필요합니다:
- 제어 경로에서 인터럽트 및 컨텍스트 스위치 줄이기
- 플래시 메모리 액세스 스케줄링 전략 최적화하기
- 컨트롤러 내 데이터의 내부 처리 경로 단축
레이턴시 최적화는 AI SSD의 전체 설계 프로세스를 관통하는 체계적인 프로젝트라고 할 수 있습니다.
초고속 IOPS
모델 학습 및 추론 중에 데이터 액세스는 종종 '파편화된' 특성을 보입니다. 예를 들어
- 모델 매개변수는 여러 개의 작은 블록으로 나뉩니다.
- 벡터 데이터베이스는 인덱스와 기능에 자주 액세스해야 합니다.
- 여러 모델 또는 작업이 병렬로 실행됩니다.
이러한 시나리오에서 SSD는 소수의 대규모 연속 요청이 아니라 수많은 소규모 동시 요청에 직면하게 됩니다. 따라서 IOPS는 성능 한계를 결정하는 핵심 지표가 됩니다. 기존 엔터프라이즈 SSD에서는 이미 수십만 IOPS가 하이엔드급으로 간주됩니다. AI SSD를 계획할 때 일반적으로 수백만, 수백만, 수천만 IOPS를 목표로 삼습니다. 여기서 말하는 IOPS는 실험실 조건에서의 최고치가 아니라 높은 동시성 및 짧은 지연 시간 제약 조건에서 지속 가능한 성능을 의미한다는 점에 유의해야 합니다. IOPS 개선은 단순히 "대기열을 더 많이 여는 것"으로 해결할 수 있는 문제가 아닙니다. 동시 요청 수가 매우 많으면 다음과 같은 문제가 빠르게 나타납니다:
- 대기열 관리의 복잡성 증가
- 플래시 메모리 채널 간 불균일한 부하
- 쓰기 증폭 및 가비지 수집으로 인한 간섭
따라서 AI SSD는 펌웨어 수준에서 보다 공격적인 동시 스케줄링 전략을 도입하는 동시에 플래시 메모리 리소스를 보다 세밀하게 관리해야 하는 경우가 많습니다.
GPU 및 가속기를 위한 시스템 공동 설계
기존 서버 아키텍처에서는 일반적으로 SSD와 GPU 사이에 직접적인 데이터 경로가 없습니다. 데이터가 GPU로 전송되기 전에 먼저 CPU와 시스템 메모리를 통과해야 합니다. 이 아키텍처의 문제는 AI 서버에서 증폭됩니다. GPU의 수가 증가하고 단일 카드 컴퓨팅 성능이 계속 향상됨에 따라 이 간접 경로의 효율성 문제가 더욱 두드러지게 나타납니다. 이 문제를 해결하기 위해 AI SSD는 시스템 수준에서 다음과 같은 새로운 시도를 하기 시작했습니다:
- GPU 직접 또는 거의 직접에 가까운 데이터 액세스 모드를 지원합니다.
- 불필요한 CPU 개입을 줄입니다.
- 스토리지와 가속기 간의 데이터 전송 경로 최적화.
이러한 설계는 반드시 CPU를 완전히 우회하는 것이 아니라 적절한 시나리오에서 데이터 복사 및 전송 시간을 줄여 전반적인 효율성을 개선하는 것을 의미합니다. 이 아키텍처에서 스토리지는 더 이상 '수동적인 데이터 웨어하우스'가 아니라 AI 시스템 내에서 능동적인 데이터 서비스 노드와 같은 역할을 합니다. 상위 수준의 액세스 패턴을 이해하고, 동시 요청에 신속하게 대응하며, 컴퓨팅 장치와 효율적인 협업을 형성해야 합니다. 이것이 바로 AI SSD를 설계할 때 전체 머신 시스템, 심지어 GPU 제조업체와의 긴밀한 협력이 필요한 이유이기도 합니다.
대용량 및 고밀도
모델 매개변수 크기가 계속 커지고 개별 모델이 수백 GB 또는 수 TB에 이르는 경우가 많기 때문에 스토리지 시스템은 실제 배포를 지원할 수 있는 충분한 용량과 밀도를 갖춰야 합니다. 또한, AI 시스템은 여러 버전의 모델, 학습 데이터, 중간 결과, 벡터 데이터베이스, 인덱스 등을 저장해야 하는 경우가 많습니다. 따라서 고용량과 고밀도는 AI SSD의 또 다른 중요한 특징입니다. 하지만 용량이 크다고 해서 "공짜"는 아닙니다. 플래시 밀도를 높이려면 비용이 수반되는 경우가 많습니다:
- 플래시 다이당 액세스 지연 시간이 증가했습니다.
- 동시 공연이 제한됩니다.
- 내구성 및 신뢰성에 대한 도전.
따라서 AI SSD는 용량을 추구하는 동시에 아키텍처 및 스케줄링 설계를 통해 고밀도로 인한 성능 손실을 최소화해야 합니다.
AI SSD의 산업 현황과 미래 트렌드
기술 라이프사이클의 관점에서 볼 때, AI SSD는 아직 "초기 도입 및 빠른 탐색" 단계에 있습니다. 한편으로 AI SSD는 개념 수준에 머물러 있는 마케팅 용어가 아니라 데이터센터, 클라우드 컴퓨팅 플랫폼, 대기업에서 이미 존재하며 빠르게 성장하고 있는 AI 워크로드입니다. 반면에 AI SSD는 아직 완전히 통합되고 표준화된 제품 형태가 형성되지 않았습니다. AI를 중심으로 설계된 진정한 SSD는 아직 주로 맞춤형, 사전 연구용, 고급 엔터프라이즈 제품에 국한되어 있으며 광범위한 채택과는 다소 거리가 있습니다.
AI SSD의 발전으로 기존 스토리지 산업 체인 내 역할이 변화하고 있습니다. 과거에는 SSD 제조업체가 단일 디바이스의 성능과 안정성에 더 집중했습니다. AI 시나리오에서는 시스템 수준 설계에 일찍 참여하고 서버, GPU, 클라우드 플랫폼 제공업체와 협력하며 특정 AI 워크로드에 대한 심층 최적화를 수행해야 합니다. 이로 인해 스토리지 OEM 제조업체, 컨트롤러 제조업체, 시스템 통합업체 간의 경계가 모호해지고 있습니다.
미래의 AI SSD는 더 이상 'PCIe 슬롯에 꽂는 장치'가 아니라 시스템 수준에서 컴퓨팅 리소스와 더욱 긴밀하게 공동 설계될 가능성이 높습니다. 이는 더 많은 직접 데이터 경로, 더 적은 중간 복사본, 더 긴밀한 소프트웨어-하드웨어 협업으로 반영될 수 있습니다. 이는 스토리지와 컴퓨팅 사이의 경계를 더욱 약화시킬 것입니다. 반면, AI 시스템이 확장됨에 따라 모든 연산을 GPU에 맡기는 것이 반드시 최적의 솔루션은 아닙니다. 일부 시나리오에서는 저장 장치가 일부 데이터 처리 또는 전처리 작업을 처리하도록 하는 것이 전체 시스템 부하를 줄이는 데 도움이 될 수 있습니다. 이러한 아이디어는 아직 탐색 단계에 있지만 업계의 주목을 받고 있습니다.
AI SSD는 스토리지의 개념을 근본적으로 바꾸는 새로운 종은 아니지만, AI 워크로드를 중심으로 스토리지 역할이 재편되고 있습니다. AI가 데이터 액세스 패턴에 가져오는 근본적인 변화, 개별 지표의 과장된 개선이 아니라 시스템 효율의 지속적인 개선에 그 가치가 있으며, 향후 모든 SSD를 대체하지는 않겠지만 AI 인프라에서 없어서는 안 될 부분이 될 것입니다. GPU가 AI 시스템의 '엔진'이라면 AI SSD는 안정적이고 지속적인 공급을 제공하는 연료 시스템과 비슷합니다. 가장 눈에 띄지는 않지만 한 번 뒤처지면 전체 시스템에 영향을 미칩니다.
