Nous vivons à une époque marquée par l'intelligence artificielle. De grands modèles comme ChatGPT ou Sora sont en train de remodeler diverses industries. Cependant, ces modèles ont un énorme "appétit" ; leurs paramètres massifs posent de sérieux défis aux systèmes de calcul et de stockage. Lorsque la vitesse de calcul des puces est élevée, mais que l'approvisionnement en données ne peut pas suivre, le goulot d'étranglement appelé "mur de mémoire" se forme. La technologie Flash à large bande passante est une innovation clé née précisément pour briser ce mur et injecter une dynamique puissante dans les systèmes d'IA à un coût plus économique.
Qu'est-ce que le HBF ? Comment obtient-on le "meilleur des deux mondes" ?
La technologie Flash à large bande passante n'est pas un support de stockage entièrement nouveau, mais plutôt une innovation architecturale intelligente. Son idée maîtresse est de combiner la technologie 3D Mémoire flash NAND Le HBF associe la mémoire flash, que l'on trouve couramment dans notre vie quotidienne (dans les téléphones et les disques durs), à la technologie avancée de conditionnement et d'interconnexion de la HBM, qui est couramment utilisée dans l'informatique de haute performance. En termes simples, le HBF vise à donner à la mémoire flash de grande capacité et à faible coût des vitesses de transfert de données proches de celles de la mémoire haut de gamme, réalisant ainsi un équilibre idéal entre la capacité, la largeur de bande et le coût. La réalisation de cet objectif repose principalement sur deux avancées technologiques majeures.
La première est la technologie d'empilement 3D et d'interconnexion TSV. Le succès de HBM réside dans l'empilement vertical de plusieurs puces DRAM, comme des blocs de construction, en utilisant des canaux à travers le silicium, ce qui permet une communication à grande vitesse à travers de minuscules canaux verticaux. HBF emprunte ce concept, en réalisant un empilage haute densité de plusieurs puces NAND flash. Cette conception raccourcit considérablement les chemins de transmission de données internes au sein de la puce, augmente la densité d'intégration et jette les bases d'une large bande passante.
La deuxième avancée, la plus importante, est l'architecture parallèle des sous-réseaux. Bien que la mémoire flash NAND traditionnelle ait une grande capacité, le nombre de canaux qui peuvent lire et écrire des données simultanément est limité. C'est comme une route large avec très peu d'entrées et de sorties, sujette à la congestion. HBF innove la structure de base de la mémoire flash en la divisant en un grand nombre de sous-réseaux de stockage qui peuvent fonctionner indépendamment et en parallèle. Chaque sous-réseau dispose de ses propres canaux de lecture/écriture indépendants. Lorsque des centaines ou des milliers de ces sous-réseaux fonctionnent simultanément, cela équivaut à transformer une route à voie unique en un réseau à grande vitesse avec des milliers de voies, permettant au déluge de données de s'écouler sans entrave, réalisant ainsi un bond en avant dans la largeur de bande totale.
Pour démontrer plus clairement le positionnement unique du HBF, le tableau ci-dessous compare ses principales caractéristiques avec celles de ses "prédécesseurs", le HBM et les SSD traditionnels à base de NAND :
| Caractéristique | HBF | HBM | SSD traditionnels à base de NAND |
|---|---|---|---|
| Avantage principal | Grande capacité, grande largeur de bande, faible coût | Largeur de bande extrêmement élevée, latence ultra-faible | Capacité élevée, coût très faible |
| Capacité typique par pile/puce | Jusqu'à 512 Go | Environ 24-48GB | 1TB-2TB |
| Niveau de bande passante | Très élevé, proche de l'HBM | Extrême | Relativement faible |
| Coût par unité | Relativement faible | Très élevé | Très faible |
| Meilleure application | Inférence de l'IA, tâches à forte intensité de lecture | Formation à l'IA, calcul à haute performance | Stockage et archivage des données |
Cette comparaison montre intuitivement que le HBF comble précisément la lacune du marché entre le HBM et le disques SSD traditionnels. Il ne possède pas la latence ultra-faible et la vitesse d'écriture extrême de HBM, mais offre une capacité bien plus grande et un coût bien plus faible. Par rapport aux disques SSD traditionnels, il offre une largeur de bande supérieure de plusieurs ordres de grandeur, ce qui est idéal pour les scénarios nécessitant une lecture rapide de données massives.
Caractéristiques techniques, avantages et défis
La valeur de la Flash à large bande réside dans sa combinaison unique de caractéristiques techniques, qui définissent ses capacités actuelles et ses principales orientations en matière d'application. Elle n'est pas toute puissante, mais elle excelle dans ses domaines d'expertise. Son statut actuel peut être clairement présenté en comparant ses avantages et ses défis.
Les trois principaux avantages de l'HBF
Grande capacité et avantage en termes de coûts : Dans le même espace physique, une seule pile HBF peut fournir jusqu'à 512 Go de capacité, soit plus de 10 fois celle de HBM. Basé sur une mémoire flash NAND moins coûteuse, il peut réduire de manière significative le coût total de possession des systèmes d'intelligence artificielle. Largeur de bande de lecture élevée et efficacité énergétique : Grâce à son architecture parallèle, sa bande passante de lecture peut s'approcher des niveaux HBM, ce qui répond aux besoins de tâches telles que l'inférence de l'IA pour une lecture rapide des données. Par ailleurs, sa consommation d'énergie statique est bien inférieure à celle de la DRAM, qui nécessite un rafraîchissement constant. Positionnement précis sur le marché : Il comble avec précision l'écart entre le HBM et les disques SSD traditionnels, offrant une solution idéale pour les applications de lecture intensive sensibles à la capacité et au coût.
Principaux défis auxquels est confrontée la HBF
Limitations de la vitesse d'écriture et de l'endurance : Il s'agit là de caractéristiques inhérentes à la NAND flash. La vitesse d'écriture du HBF est beaucoup plus lente que celle du HBM et ses puces ont des cycles d'effacement/écriture limités. Par conséquent, il n'est pas adapté aux scénarios d'entraînement de modèles d'IA nécessitant l'écriture fréquente de données. Latence d'accès plus élevée : Sa latence d'accès est de l'ordre de la microseconde. Bien que cela ait peu d'impact sur de nombreuses tâches de lecture, cette latence est bien plus élevée que celle de la nanoseconde de l'HBM et ne permet pas de gérer les applications extrêmement sensibles à la latence.
En résumé, pour bien comprendre le statut actuel du HBF, il faut savoir qu'il s'agit d'une solution de stockage à haute performance optimisée pour les tâches de lecture intensive. Il ne s'agit pas d'un remplacement du HBM, mais d'un complément puissant. Sa valeur réside dans le fait de tirer parti de ses forces et d'éviter ses faiblesses pour résoudre des problèmes spécifiques.
Perspectives d'avenir pour HBF
Sur la base de ses caractéristiques "grande capacité, grande largeur de bande de lecture, faible coût et endurance d'écriture limitée". La voie de développement future de HBF est très claire. Elle ne remplacera pas la position de HBM dans le domaine de la formation, mais se créera son propre créneau et formera un écosystème complémentaire avec les technologies existantes.
Scénarios d'application de base
Les applications meurtrières du HBF se concentrent principalement dans les directions suivantes :
Serveurs d'inférence AI Edge. C'est le scénario d'application le plus idéal et le plus prometteur pour HBF. Le déploiement de modèles d'intelligence artificielle sur des serveurs périphériques pour l'inférence implique des charges de travail qui sont presque purement des opérations de lecture, appelant fréquemment des paramètres de modèles pré-entraînés. Cela correspond parfaitement aux avantages de HBF, à savoir une bande passante élevée en lecture et une grande capacité, tout en évitant ses faiblesses, à savoir des écritures lentes et une endurance limitée. De plus, la faible consommation d'énergie de HBF est bien adaptée aux environnements de pointe sensibles à l'énergie.
Former une architecture de mémoire hétérogène ou hybride avec HBM. Dans les centres de données en nuage, le HBF peut servir d'extension efficace de la capacité du HBM. Dans ce modèle, l'HBM agit comme une mémoire cache à grande vitesse, contenant les "données chaudes" les plus urgentes pour le calcul en cours, tandis que le modèle d'IA complet et massif est stocké dans l'HBF. Différentes parties des paramètres du modèle sont ensuite préfiltrées à grande vitesse de HBF à HBM en fonction des besoins. Cette combinaison offre un équilibre intéressant entre les performances, la capacité et le coût total.
À plus long terme, on s'attend à ce que la technologie HBF soit utilisée dans les domaines suivants les appareils des utilisateurs finaux. Comme les PC d'IA et les smartphones haut de gamme exigent des capacités d'IA locales plus importantes, l'intégration de HBF pourrait permettre à ces appareils d'exécuter localement des modèles de paramètres plus importants, réduisant ainsi la dépendance à l'égard du cloud et protégeant mieux la vie privée de l'utilisateur.
Développement technologique et processus d'industrialisation
En ce qui concerne le développement technologique, les principales entreprises ont déjà établi des feuilles de route claires. C'est le cas, par exemple, de SandDisk prévoit une itération continue sur trois générations de produits, avec pour objectifs d'augmenter encore la capacité de la puce unique au-delà de 512 Go et de doubler la bande passante de lecture par rapport aux niveaux actuels, tout en optimisant en permanence l'efficacité énergétique.
Le processus d'industrialisation a également commencé. La collaboration entre SK Hynix et SandDisk marque une étape clé pour le HBF qui passe de la R&D à l'industrialisation. L'industrie prévoit généralement que des échantillons de modules HBF seront disponibles dans la seconde moitié de 2026, et les premiers serveurs d'inférence IA intégrant HBF devraient être officiellement lancés au début de 2027. Les analystes du marché prévoient que d'ici 2030, le HBF pourrait devenir un marché de plusieurs dizaines de milliards de dollars américains. Bien que son échelle soit plus petite que celle du HBM, il deviendra un élément indispensable de l'infrastructure de l'IA.
En conclusion, l'avenir du HBF est d'être une pièce maîtresse dans l'écosystème du stockage de l'IA. Son développement s'articulera étroitement autour des tâches intensives en lecture, permettant progressivement à la prochaine génération d'applications d'IA de s'imposer, du cloud à la périphérie.
