Viviamo in un'epoca guidata dall'intelligenza artificiale. Modelli di grandi dimensioni come ChatGPT o Sora stanno ridisegnando diversi settori. Tuttavia, questi modelli hanno enormi "appetiti"; i loro parametri massicci pongono gravi sfide ai sistemi di elaborazione e di archiviazione. Quando le velocità di calcolo dei chip sono elevate, ma l'alimentazione dei dati non riesce a tenere il passo, si forma il cosiddetto "muro della memoria". La tecnologia Flash ad alta larghezza di banda è un'innovazione chiave nata proprio per rompere questo muro e dare un impulso potente ai sistemi di intelligenza artificiale a un costo più economico.
Che cos'è l'HBF? Come si ottiene il "meglio dei due mondi"?
High-Bandwidth Flash non è un supporto di memorizzazione completamente nuovo, ma piuttosto un'intelligente innovazione architettonica. La sua idea centrale è quella di combinare il 3D Memoria flash NAND comunemente presenti nella nostra vita quotidiana (utilizzate nei telefoni e nelle unità a stato solido) con l'avanzata tecnologia di packaging e interconnessione della HBM, comunemente utilizzata nell'informatica ad alte prestazioni. In parole povere, l'HBF mira a dare alle memorie flash ad alta capacità e basso costo una velocità di trasferimento dati vicina a quella delle memorie di fascia alta, raggiungendo così un equilibrio ideale tra capacità, larghezza di banda e costo. Il raggiungimento di questo obiettivo si basa principalmente su due importanti scoperte tecnologiche.
La prima è la tecnologia di impilamento 3D e di interconnessione TSV. Il successo dell'HBM risiede nell'impilare verticalmente più chip DRAM come se fossero dei blocchi di costruzione, utilizzando i vias passanti per il silicio e consentendo la comunicazione ad alta velocità attraverso minuscoli canali verticali. L'HBF prende in prestito questo concetto, realizzando l'impilamento ad alta densità di più chip NAND flash. Questo progetto accorcia in modo significativo i percorsi interni di trasmissione dei dati all'interno del chip, aumenta la densità di integrazione e pone le basi per un'elevata larghezza di banda.
Il secondo passo avanti, più critico, è l'architettura parallela a sub-array. Sebbene la memoria NAND tradizionale abbia una grande capacità, il numero di canali che possono leggere e scrivere simultaneamente i dati è limitato. È come una strada larga con poche entrate e uscite, soggetta a congestione. L'HBF innova la struttura di base della memoria flash dividendola in un gran numero di sotto-array di memorizzazione che possono lavorare indipendentemente e in parallelo. Ogni sotto-array ha i propri canali di lettura/scrittura indipendenti. Quando centinaia o migliaia di questi sub-array lavorano simultaneamente, equivale a espandere una strada a una sola corsia in una rete ad alta velocità con migliaia di corsie, consentendo al diluvio di dati di fluire senza ostacoli, ottenendo così un salto di qualità nella larghezza di banda totale.
Per dimostrare più chiaramente il posizionamento unico dell'HBF, la tabella seguente mette a confronto le sue caratteristiche chiave con i suoi "predecessori" HBM e gli SSD NAND tradizionali:
| Caratteristica | HBF | HBM | SSD NAND tradizionale |
|---|---|---|---|
| Vantaggio principale | Alta capacità, alta larghezza di banda, basso costo | Larghezza di banda estremamente elevata, latenza bassissima | Alta capacità, costo molto basso |
| Capacità tipica per stack/chip | Fino a 512 GB | Circa 24-48 GB | 1TB-2TB |
| Livello di larghezza di banda | Molto alto, vicino all'HBM | Estremo | Relativamente basso |
| Costo per unità | Relativamente basso | Molto alto | Molto basso |
| Migliore applicazione | Inferenza dell'intelligenza artificiale, compiti ad alta intensità di lettura | Formazione AI, calcolo ad alte prestazioni | Memorizzazione e archiviazione dei dati |
Questo confronto mostra intuitivamente che l'HBF colma esattamente il divario di mercato tra l'HBM e l'HBF. SSD tradizionali. Non possiede la bassissima latenza e l'estrema velocità di scrittura dell'HBM, ma offre una capacità di gran lunga superiore e un costo molto inferiore. Rispetto alle SSD tradizionali, raggiunge un'ampiezza di banda di ordini di grandezza superiore, nata per gli scenari che richiedono la lettura veloce di dati massicci.
Caratteristiche tecniche, vantaggi e sfide
Il valore di High-Bandwidth Flash risiede nella sua combinazione unica di caratteristiche tecniche, che ne definiscono le capacità attuali e le principali direzioni applicative. Non è onnipotente, ma eccelle nelle sue aree di competenza. Il suo stato attuale può essere presentato chiaramente mettendo a confronto i suoi vantaggi e le sue sfide.
Tre vantaggi fondamentali dell'HBF
Enorme vantaggio in termini di capacità e costi: Nello stesso spazio fisico, un singolo stack HBF può fornire fino a 512 GB di capacità, più di 10 volte quella dell'HBM. Basato su NAND flash a basso costo per unità, può ridurre significativamente il costo totale di proprietà dei sistemi di intelligenza artificiale. Elevata larghezza di banda di lettura ed efficienza energetica: Grazie alla sua architettura parallela, la larghezza di banda in lettura può avvicinarsi ai livelli della HBM, soddisfacendo le esigenze di compiti come l'inferenza dell'intelligenza artificiale per la lettura veloce dei dati. Nel frattempo, il suo consumo di energia statica è molto inferiore a quello della DRAM, che richiede un aggiornamento costante. Posizionamento preciso sul mercato: Colma con precisione il divario tra le HBM e le SSD tradizionali, fornendo una soluzione ideale per le applicazioni ad alta intensità di lettura sensibili alla capacità e al costo.
Principali sfide per HBF
Limiti di velocità di scrittura e di resistenza: Queste sono caratteristiche intrinseche della NAND flash. La velocità di scrittura della HBF è molto più lenta di quella della HBM e i suoi chip hanno cicli di cancellazione/scrittura limitati. Pertanto, non è adatta per gli scenari di addestramento dei modelli di intelligenza artificiale che richiedono una scrittura frequente dei dati. Latenza di accesso più elevata: La sua latenza di accesso è del livello del microsecondo. Sebbene questo abbia un impatto minimo su molti compiti di lettura, è comunque molto superiore alla latenza di livello nanosecondo dell'HBM e non può gestire applicazioni estremamente sensibili alla latenza.
In sintesi, una comprensione accurata dello stato attuale dell'HBF è: si tratta di una soluzione di memorizzazione ad alte prestazioni ottimizzata per compiti ad alta intensità di lettura. Non è un sostituto dell'HBM, ma un potente complemento. Il suo valore sta nello sfruttare i suoi punti di forza ed evitare le sue debolezze per risolvere problemi specifici.
Prospettive future per HBF
In base alle sue caratteristiche di "grande capacità, elevata larghezza di banda in lettura, basso costo e limitata resistenza in scrittura". Il percorso di sviluppo futuro della HBF è molto chiaro. Non sostituirà la posizione di HBM nella formazione, ma si ritaglierà una propria nicchia di mercato e formerà un ecosistema complementare con le tecnologie esistenti.
Scenari applicativi principali
Le applicazioni killer dell'HBF si concentrano principalmente nelle seguenti direzioni:
Server di inferenza AI Edge. Questo è lo scenario applicativo più ideale e promettente per l'HBF. L'impiego di modelli di intelligenza artificiale sui server edge per l'inferenza comporta carichi di lavoro che sono quasi esclusivamente operazioni di lettura, richiamando frequentemente i parametri del modello pre-addestrato. Ciò si sposa perfettamente con i vantaggi dell'HBF, ossia l'elevata larghezza di banda in lettura e l'enorme capacità, evitando al contempo i suoi punti deboli, ossia la lentezza in scrittura e la limitata resistenza. Inoltre, il basso consumo energetico di HBF è adatto agli ambienti edge sensibili dal punto di vista energetico.
Formazione di un'architettura di memoria eterogenea o ibrida con HBM. Nei data center cloud, l'HBF può servire come efficace estensione di capacità per l'HBM. In questo modello, la HBM agisce come una cache ad alta velocità, contenendo i "dati caldi" più urgenti per la computazione corrente, mentre il modello AI completo e massivo è memorizzato nella HBF. Le diverse parti dei parametri del modello vengono poi prefetching ad alta velocità da HBF a HBM, secondo le necessità. Questa combinazione offre un interessante equilibrio tra prestazioni, capacità e costo totale.
Guardando al futuro, si prevede che la tecnologia HBF si diffonderà fino a dispositivi dell'utente finale. Poiché i PC AI e gli smartphone di fascia alta richiedono maggiori capacità di AI locale, l'integrazione dell'HBF potrebbe consentire a questi dispositivi di eseguire localmente modelli di parametri più grandi, riducendo la dipendenza dal cloud e proteggendo meglio la privacy degli utenti.
Sviluppo tecnologico e processo di industrializzazione
In termini di sviluppo tecnologico, le aziende leader hanno già pianificato chiare tabelle di marcia. Ad esempio, SandDisk prevede un'iterazione continua attraverso tre generazioni di prodotti, con obiettivi che includono l'ulteriore aumento della capacità del singolo chip oltre i 512 GB e il raddoppio della larghezza di banda in lettura rispetto ai livelli attuali, ottimizzando al contempo l'efficienza energetica.
È iniziato anche il processo di industrializzazione. La collaborazione tra SK Hynix e SandDisk segna un passo fondamentale per il passaggio dell'HBF dalla ricerca e sviluppo all'industrializzazione. L'industria prevede in generale che i campioni di moduli HBF saranno disponibili nella seconda metà del 2026 e che i primi server di inferenza AI che integrano HBF dovrebbero debuttare ufficialmente all'inizio del 2027. Gli analisti di mercato prevedono che entro il 2030 l'HBF abbia il potenziale per diventare un mercato del valore di decine di miliardi di dollari. Anche se la sua scala potrebbe essere inferiore a quella dell'HBM, diventerà una parte indispensabile dell'infrastruttura di IA.
In conclusione, il futuro dell'HBF risiede nell'essere un elemento chiave nell'ecosistema di storage dell'intelligenza artificiale. Il suo sviluppo ruoterà strettamente attorno alle attività ad alta intensità di lettura, potenziando gradualmente la prossima generazione di applicazioni AI dal cloud all'edge.
