2026년 3월 24일, 구글 리서치는 공식적으로 다음을 공개했습니다. TurboQuant - 대규모 언어 모델 추론 시 사용되는 키-값 캐시(KV 캐시)를 다음과 같이 압축하는 파괴적인 AI 압축 기술입니다. 3비트 정밀도. 이를 통해 메모리 사용량 6배 감소 그리고 최대 추론 속도 8배 향상, 모델 정확도에는 아무런 손실이 없었습니다. 이 발표로 인해 전 세계 메모리 칩 시장은 즉각적인 변동성을 보였고, 마이크론 테크놀로지의 주가는 폭락했으며 삼성과 SK하이닉스 같은 주요 기업들도 어려움을 겪으며 총 1조 7,900억 달러 이상의 시장 가치를 잃었습니다. 이 기술이 그토록 강력한 이유는 무엇일까요? 정말 스토리지 업계에 지각변동을 일으킬까요? 다음과 같은 스토리지 제품은 어떻게 될까요? SSD, DDR 및 HBM 진화할까요?
터보퀀트란 무엇인가요?
TurboQuant 는 학습이 필요 없는, 데이터 편향적이지 않은 온라인 벡터 양자화 알고리즘 구글 리서치에서 개발했습니다. 이 기능은 특히 키-값 캐시(KV 캐시) 를 사용하여 대규모 언어 모델 추론 중입니다.
KV 캐시는 모델 추론 중에 컨텍스트 정보를 저장하는 임시 데이터 구조입니다. 대화가 길어질수록 지속적으로 증가하여 긴 텍스트 시퀀스를 처리하는 모델의 능력을 제한하는 중요한 병목 현상이 됩니다. 기존의 압축 방식은 모델 재교육, 대규모 보정 데이터 세트 또는 양자화 매개변수를 위한 추가 스토리지가 필요한 경우가 많습니다. TurboQuant의 혁신은 16/32비트에서 3비트까지 무손실 압축을 달성하는 기능에 있습니다. 모델 조정, 학습 데이터 또는 추가 메모리 오버헤드 없이도 진정한 “플러그 앤 플레이” 솔루션을 사용할 수 있습니다.
2단계 압축 아키텍처
터보퀀트의 핵심 혁신은 다음과 같습니다. 2단계 압축 프레임워크, 무차별 정량화 대신 수학적 변환을 사용하여 효율성과 정확성의 이상적인 균형을 달성합니다:
폴라퀀트: 고차원 벡터를 데카르트 좌표에서 극좌표로 변환하는 주요 압축 단계입니다. 먼저 입력 벡터에 무작위 회전을 적용하여 데이터 분포를 보다 균일하게 만듭니다. 그런 다음 각 벡터를 다음과 같이 분해합니다. 반경 (크기를 나타내는) 및 각도 (의미적 방향을 나타냄)를 사용하여 각도만 정량화합니다. 이 프로세스는 기존 방식에 필요한 정규화 매개변수를 저장할 필요가 완전히 사라집니다.
QJL(정량화된 존슨-린덴스트라우스 변환): 잔여 보정 단계입니다. 다음을 사용합니다. 1비트 (부호 비트)를 사용하여 폴라퀀트 단계에서 발생하는 작은 오류에 편향되지 않은 보정을 적용하여 주의도 계산의 정확도가 손상되지 않도록 합니다. 이 단계는 기존 압축 방식에서 발생하는 오류 누적 문제를 해결하여 다음과 같은 이점을 제공합니다. 정밀도 손실 제로 이론적으로는 가능합니다.
이러한 “공격적인 메인 압축 + 편향되지 않은 잔여 보정”의 조합을 통해 TurboQuant는 다음과 같은 성능을 달성할 수 있습니다. 3비트 정밀도 정확도 기준선과 일치하거나 심지어 이를 뛰어넘는 성능을 제공하며, 이는 LongBench와 같은 표준 벤치마크를 통해 검증된 사실입니다.
주요 기능 및 장점
TurboQuant는 네 가지 핵심 장점으로 인해 압축 기술 중에서도 단연 돋보입니다:
교육이나 미세 조정이 필요하지 않습니다.: 기존 모델(라마, 미스트랄, 젬마, 제미니 등)에 별도의 조정이나 재교육 없이 바로 적용할 수 있어 즉시 배포할 수 있습니다.
편향되지 않은 데이터: 시나리오별 최적화 없이도 모든 유형의 텍스트, 코드, 이미지 데이터에서 효과적으로 작동하며, 입력 데이터 분포와 무관하게 성능을 발휘합니다.
제로 오버헤드: 양자화 매개변수, 정규화 계수 등을 위한 추가 저장 공간이 필요하지 않아 기존 방식과 완전히 대조적입니다.
이론적으로 최적: 수학적으로 최적에 가까운 왜곡 보장을 제공하여 대규모 배포 시 안정적인 성능 예측 가능성을 제공합니다.
구름 위의 후광: 학계 논란에 대한 간단한 참고 사항
터보퀀트로 인한 시장 충격과 함께 학문적 논쟁도 등장했습니다. 3월 27일, ETH 취리히의 박사후 연구원인 지안양 가오가 그 주인공입니다, 터보퀀트의 핵심 방법론이 라빗큐와 매우 유사하다고 공개적으로 주장한 바 있습니다., 라는 알고리즘을 2024년 SIGMOD에서 발표했습니다. 가오는 구글 팀의 논문이 방법론적 유사성에 대한 논의를 피하고, RaBitQ의 이론적 결과를 정당화 없이 “차선책'으로 폄하했으며, 불공정한 실험 비교(단일 코어 CPU에서 RaBitQ를 테스트하고 A100 GPU에서 TurboQuant를 테스트)를 사용했다고 지적했습니다.
가오에 따르면 이러한 문제는 논문이 발표되기 전에 이메일을 통해 구글 팀에 전달되었다고 합니다. 구글 팀은 일부 문제를 인정했지만, 컨퍼런스 이후 수정하겠다고 약속했을 뿐 기술적 유사성에 대해서는 부인한 것으로 알려졌습니다. 3월 31일 현재, RaBitQ 팀은 다음을 완료했습니다. ICLR 오픈리뷰에 공개 댓글을 게시했습니다. 그리고 ICLR 컨퍼런스 윤리위원회에 공식적으로 불만을 제기했습니다. 이 논란은 경각심을 일깨워 줍니다: 터보퀀트의 기술적 가치가 완전히 검증되려면 아직 시간이 필요하며, 이와 관련된 학술적 행위 문제도 마찬가지로 주목할 만한 사안입니다.
스토리지 산업에 미치는 잠재적 영향
시장 반응을 합리적으로 살펴보기
터보퀀트의 발표 이후 스토리지 칩 재고가 급격히 감소한 것은 시장 심리에 따른 과잉 반응 보다 더 중요합니다. 진정한 영향을 이해하려면 먼저 TurboQuant의 정의가 중요합니다. 영향력 범위:
추론에만 영향: HBM과 같은 하이엔드 메모리의 핵심 수요 시나리오인 모델 트레이닝 프로세스에는 영향을 미치지 않습니다.
KV 캐시만 압축: 모델 가중치, 활성화 및 기타 핵심 데이터는 영향을 받지 않습니다. 이는 스토리지 리소스의 주요 소비자를 나타냅니다.
효율성 향상의 역설: 과거 경험에 따르면 계산 효율성이 개선되면 대규모 애플리케이션으로 이어지는 경우가 많으며, 잠재적으로 다음과 같은 효과가 있습니다. 증가 전체 스토리지 수요를 감소시키기는커녕 오히려 증가시킬 수 있습니다(제본스의 역설).
SSD, DDR 및 HBM에 대한 잠재적 영향
TurboQuant에는 이중 충격 DDR 메모리가 있을 수 있습니다. 한편으로는 KV 캐시를 보다 비용 효율적으로 다음 위치에 저장할 수 있도록 지원하여 HBM에 대한 의존도를 줄입니다. DDR5/DR6를 사용할 수 있습니다. 이는 고대역폭 DDR5-8800+ 및 향후 DDR6, 를 통해 AI 서버에서 HBM을 대체하는 비용 효율적인 대안으로 자리매김하고 있습니다. 한편, 터보퀀트는 CXL 메모리 확장 기술의 도입을 가속화합니다. CXL을 통해 DDR 메모리를 풀링함으로써 AI 서버는 다양한 크기의 추론 작업을 처리할 수 있도록 메모리 리소스를 보다 유연하게 할당할 수 있어 DDR 활용 효율성과 시장 수요를 더욱 향상시킬 수 있습니다.
시장의 우려와는 달리 TurboQuant는 SSD에 상당히 긍정적인 발전이 될 것으로 보입니다:
긴 컨텍스트 오버플로 스토리지: KV 캐시가 메모리 용량을 초과하면 지연 시간이 짧고 내구성이 뛰어난 SSD(예: pSLC 모드, NVMe 4.0/5.0)가 이상적인 보조 캐시가 되어 엔터프라이즈급 SSD의 성능과 용량에 대한 수요가 크게 증가합니다.
벡터 데이터베이스 확장: 터보퀀트가 주도하는 검색 증강 세대(RAG) 시스템의 채택 증가는 기본 스토리지로 고성능 SSD에 크게 의존하는 벡터 데이터베이스의 성장에 직접적인 동력이 될 것입니다.
엣지 AI 배포: TurboQuant를 사용하면 소비자급 장치에서 AI 모델을 실행할 수 있어 클라이언트 측 SSD 시장이 확대되고, 특히 저전력, 고성능에 대한 수요가 증가합니다. M.2 SSD.
HBM에 대한 시장의 공포는 과도해 보입니다:
학습과 추론의 명확한 구분: TurboQuant는 추론 중에 KV 캐시에만 영향을 미칩니다. HBM에서 모델 훈련에 대한 대역폭 수요는 줄어들지 않고 있으며, HBM은 여전히 초대형 모델을 훈련하는 데 필수적인 요건입니다.
모델 무게 저장에는 영향을 받지 않습니다: AI 메모리 소비의 90% 이상을 차지하는 모델 가중치는 TurboQuant에 의해 압축되지 않습니다. 이러한 가중치를 저장하는 주요 매체로서 HBM의 역할은 안전하게 유지됩니다.
하이브리드 아키텍처 최적화: TurboQuant를 사용하면 HBM 리소스를 중요한 컴퓨팅 작업에 보다 효율적으로 할당할 수 있으므로 단순 교체가 아닌 HBM, DDR, SSD를 결합한 하이브리드 스토리지 아키텍처 개발을 촉진할 수 있습니다.
AI 인프라를 위한 새로운 패러다임의 가능성
TurboQuant의 진정한 가치는 특정 유형의 스토리지를 “제거'하는 것이 아니라 AI 인프라의 스토리지 계층화 아키텍처를 재구성하여 보다 효율적이고 경제적인 메모리 스토리지 계층구조를 만드는 데 있습니다.
지능형 데이터 흐름의 새로운 질서
미래의 AI 서버 스토리지 아키텍처는 명확한 3계층 피라미드를 특징으로 할 가능성이 높습니다:
최상위 계층 - HBM: 모델 가중치 및 활성화와 같은 핵심 계산 데이터를 저장하여 학습 및 추론 작업의 대역폭 집약적인 요구 사항을 충족합니다.
중간 계층 - DDR: KV 캐시의 기본 캐리어 역할을 합니다. TurboQuant의 압축 효율성의 이점을 통해 DDR5/DDR6는 워크호스 메모리 를 추론 시나리오에 사용합니다.
최하위 계층 - SSD: 긴 컨텍스트 오버플로, 벡터 데이터베이스, 모델 체크포인트를 처리합니다. 저지연, 고내구성 엔터프라이즈 SSD는 새로운 성장 기회를 맞이할 것입니다.
이 계층형 아키텍처의 핵심은 다음과 같습니다. 지능형 데이터 배치 - 액세스 빈도, 지연 시간 요구 사항, 스토리지 비용에 따라 계층 간에 데이터를 동적으로 이동하여 성능과 비용의 균형을 최적으로 맞출 수 있습니다.
소프트웨어 정의 스토리지의 부상
터보퀀트는 다음과 같은 채택을 가속화할 수 있습니다. 소프트웨어 정의 스토리지(SDS) 특히 다음과 같은 영역에 집중하고 있습니다:
메모리 관리 시스템: KV 캐시 크기를 실시간으로 모니터링하고 데이터를 HBM, DDR에 유지할지, SSD로 오버플로우할지 지능적으로 결정할 수 있는 관리 소프트웨어가 AI 인프라의 표준 구성 요소가 될 것입니다.
CXL 메모리 풀링: CXL 프로토콜을 통해 여러 서버의 DDR 메모리 리소스를 풀링하면 AI 클러스터에 탄력적으로 확장 가능한 메모리 리소스를 제공하여 개별 서버당 필요한 HBM 용량을 더욱 줄일 수 있습니다.
압축 인식 스토리지: 저장 장치가 기본적으로 TurboQuant와 같은 압축 알고리즘을 지원하기 시작하여 하드웨어 수준에서 빠른 데이터 압축 및 압축 해제를 통해 전반적인 시스템 효율성을 개선할 수 있게 됩니다.
TurboQuant의 출시는 스토리지 업계에 파멸의 징조가 아니라 오히려 스토리지와 AI 간의 긴밀한 통합을 위한 새로운 출발점. 단순히 특정 유형의 스토리지 제품을 “제거'하는 것이 아닙니다. 그 대신, 압축 기술의 혁신적인 혁신을 통해 스토리지 산업을 더 높은 효율성과 지능으로 이끌 것입니다. 즉, 미래의 AI 서비스는 더 긴 텍스트를 처리하고 더 정확한 답변을 제공하면서 잠재적으로 하드웨어 비용을 절감할 수 있게 될 것입니다. 진정한 기술 혁명은 단순한 대체가 아니라 혁신을 통해 리소스 활용 효율을 비약적으로 향상시켜 더 광범위한 애플리케이션의 문을 여는 것입니다.
