[China, Shenzhen, 14 juli 2023] Huawei heeft vandaag zijn nieuwe AI-opslagoplossing onthuld voor het tijdperk van grootschalige modellen, die optimale opslagoplossingen biedt voor basismodeltraining, branchespecifieke modeltraining en gevolgtrekking in gesegmenteerde scenario's. het ontketenen van nieuwe AI-mogelijkheden.
Bij de ontwikkeling en implementatie van grootschalige modeltoepassingen worden ondernemingen geconfronteerd met vier grote uitdagingen:
Ten eerste is de tijd die nodig is voor het voorbereiden van de gegevens lang, zijn de gegevensbronnen verspreid en verloopt de aggregatie traag: het voorbewerken van honderden terabytes aan gegevens duurt ongeveer tien dagen. Ten tweede is voor multimodale grote modellen met enorme tekst- en afbeeldingsdatasets de huidige laadsnelheid voor enorme kleine bestanden minder dan 100 MB/s, wat resulteert in een lage efficiëntie bij het laden van trainingssets. Ten derde veroorzaken frequente parameteraanpassingen voor grote modellen, samen met onstabiele trainingsplatforms, ongeveer elke twee dagen trainingsonderbrekingen, waardoor het Checkpoint-mechanisme de training moet hervatten, waarbij het herstel een dag in beslag neemt. Ten slotte zijn er hoge implementatiedrempels voor grote modellen, complexe systeeminstellingen, uitdagingen op het gebied van resourceplanning en het gebruik van GPU-resources, vaak onder de 40%.
Huawei sluit zich aan bij de trend van AI-ontwikkeling in het tijdperk van grootschalige modellen en biedt oplossingen op maat voor verschillende industrieën en scenario's. Het introduceert de OceanStor A310 Deep Learning Data Lake Storage en de FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage richt zich zowel op basis- als op industrieniveau grote data lake-scenario's en realiseert uitgebreid AI-databeheer, van dataaggregatie, voorverwerking tot modeltraining en inferentietoepassingen. De OceanStor A310 ondersteunt, in een enkel 5U-rack, toonaangevende bandbreedte van 400 GB/s en tot 12 miljoen IOPS, met lineaire schaalbaarheid tot 4096 knooppunten, waardoor naadloze protocoloverschrijdende communicatie mogelijk wordt. Het Global File System (GFS) maakt het intelligent weven van gegevens tussen regio's mogelijk, waardoor gegevensaggregatieprocessen worden gestroomlijnd. Near-storage computing realiseert voorverwerking van bijna-gegevens, vermindert de gegevensbeweging en verbetert de voorverwerkingsefficiëntie met 30%.
De FusionCube A3000 Training/Inference Super-Converged Appliance, ontworpen voor training/inferentiescenario's voor grote modellen op industrieniveau, is geschikt voor toepassingen waarbij modellen met miljarden parameters betrokken zijn. Het integreert OceanStor A300 hoogwaardige opslagknooppunten, trainings-/inferentieknooppunten, schakelapparatuur, AI-platformsoftware en beheer- en bedieningssoftware, waardoor grote modelpartners een plug-and-play-implementatie-ervaring krijgen voor een one-stop-levering. Klaar voor gebruik, binnen 2 uur inzetbaar. Zowel trainings-/inferentie- als opslagknooppunten kunnen onafhankelijk en horizontaal worden uitgebreid om te voldoen aan verschillende modelschaalvereisten. Ondertussen maakt FusionCube A3000 gebruik van hoogwaardige containers om meerdere modeltrainingen en inferentietaken mogelijk te maken om GPU's te delen, waardoor het resourcegebruik toeneemt van 40% naar meer dan 70%. FusionCube A3000 ondersteunt twee flexibele bedrijfsmodellen: Huawei Ascend One-Stop Solution en de one-stop-oplossing van een externe partner met open computing, netwerken en AI-platformsoftware.
Huawei's president van de dataopslagproductlijn, Zhou Yuefeng, verklaarde: “In het tijdperk van grootschalige modellen bepalen data de hoogte van AI-intelligentie. Als gegevensdrager wordt gegevensopslag de belangrijkste fundamentele infrastructuur voor grootschalige AI-modellen. Huawei Data Storage zal blijven innoveren en gediversifieerde oplossingen en producten bieden voor het tijdperk van grote AI-modellen, en samenwerken met partners om de empowerment van AI in een breed scala van industrieën te stimuleren.”
Posttijd: 01 augustus 2023
