Vad är en Hopper GPU?
Hopper GPU:er representerar NVIDIAs senaste generation av högpresterande grafikprocessorer, specialbyggda för AI och högpresterande databehandling (HPC). De har en banbrytande arkitektur med avancerade Tensor Cores och integrerar flera innovativa tekniker för att leverera maximal effektivitet. Hopper GPU:er är idealiska för ett brett spektrum av arbetsbelastningar och stöder AI-inferens, deep learning-träning, generativ AI och mycket mer.
Hur ser den arkitektoniska utformningen av NVIDIA:s Hopper-GPU:er ut?
Namnet “Hopper GPU” kommer från Hopper-arkitekturen, som är den GPU-mikroarkitektur som utgör grunden för högpresterande grafikprocessorer och är optimerad för AI-arbetsbelastningar och HPC-applikationer. Hopper GPU:er tillverkas av TSMC med hjälp av 4-nanometerprocessen och har över 80 miljarder transistorer, vilket gör dem till några av de mest avancerade grafikkorten på marknaden.
Med Hopper-arkitekturen kombinerar NVIDIA den senaste generationen av Tensor Cores med fem banbrytande innovationer: transformatormotor, NVLink/NVSwitch/NVLink-switchsystem, konfidentiell databehandling, andra generationens multi-instance GPU:er (MIG:er) och DPX-instruktioner. Dessa tekniker gör det möjligt för Hopper-GPU:er att uppnå upp till 30 gånger snabbare AI-inferens jämfört med föregående generation (baserat på NVIDIA:s Megatron 530B-chatbot – världens mest omfattande generativa språkmodell).
Vilka är de innovativa funktionerna hos Hopper-grafikprocessorer?
Hopper-GPU:er har flera nya funktioner som bidrar till att förbättra prestanda, effektivitet och skalbarhet. Nedan presenterar vi de viktigaste innovationerna:
- Transformator-motor: Med hjälp av transformator-motorn kan Hopper-GPU:er träna AI-modeller upp till nio gånger snabbare. För inferensuppgifter inom området språkmodeller uppnår GPU:erna upp till 30 gånger snabbare acceleration än föregående generation.
- NVLink-switchsystem: Den fjärde generationen av NVLink levererar en dubbelriktad GPU-bandbredd på 900 GB/s, medan NVSwitch säkerställer bättre skalbarhet för H200-kluster. Detta säkerställer att AI-modeller med biljoner parametrar kan bearbetas effektivt.
- Konfidentiell databehandling: Hopper-arkitekturen säkerställer att dina data, AI-modeller och algoritmer också skyddas under bearbetningen.
- Multi-instance GPU (MIG) 2.0: Den andra generationen av MIG-teknik gör det möjligt att dela upp en enda Hopper-GPU i upp till sju isolerade instanser. Detta gör att flera personer kan bearbeta olika arbetsbelastningar samtidigt utan att störa varandra.
- DPX-instruktioner: DPX-instruktioner gör det möjligt att beräkna dynamiskt programmerade algoritmer upp till sju gånger snabbare än med GPU:er med Ampere-arkitekturen.
Vilka användningsområden är Hopper GPU:er lämpliga för?
NVIDIA-grafikprocessorer baserade på Hopper-arkitekturen är utformade för ett brett spektrum av högpresterande arbetsbelastningar. De huvudsakliga användningsområdena för Hopper-grafikprocessorer är: ¬
- Inferensuppgifter: GPU:erna är bland de branschledande lösningarna för produktiv användning av AI-inferens. Oavsett om det gäller rekommendationssystem inom e-handel, medicinsk diagnostik eller realtidsprognoser för autonom körning, kan Hopper GPU:er bearbeta enorma mängder data snabbt och effektivt.
- Generativ AI: De avancerade GPU:erna tillhandahåller den nödvändiga datorkraften för att träna och köra verktyg med generativ AI. Parallellbearbetning möjliggör effektivare beräkningar för kreativa uppgifter som text-, bild- och videogenerering.
- Deep learning-träning: Med sin höga datorkraft är Hopper-GPU:er idealiska för träning av stora neurala nätverk. Hopper-arkitekturen förkortar träningstiderna för AI-modeller avsevärt.
- Konversations-AI: Hopper-GPU:er är optimerade för naturlig språkbehandling (NLP) och är idealiska för AI-drivna språksystem, såsom virtuella assistenter och AI-chattbottar. De påskyndar bearbetningen av stora AI-modeller och säkerställer responsiv interaktion som kan integreras sömlöst i affärsprocesser, såsom support.
- Dataanalys och big data: Hopper-GPU:er hanterar enorma datamängder med hög hastighet och accelererar komplexa beräkningar genom massiv parallellbearbetning. Detta gör det möjligt för företag att utvärdera big data snabbare för att göra prognoser och vidta rätt åtgärder.
- Vetenskap och forskning: Eftersom GPU:erna är utformade för HPC-applikationer är de idealiska för mycket komplexa simuleringar och beräkningar. Hopper GPU:er används till exempel inom astrofysik, klimatmodellering och beräkningskemi.
Aktuella modeller från NVIDIA
Med lanseringen av NVIDIA H100 och NVIDIA H200 har det amerikanska företaget introducerat två Hopper-GPU:er på marknaden. NVIDIA A30 är däremot fortfarande baserad på den tidigare Ampere-arkitekturen. Tekniskt sett är H200 inte en helt ny modell utan snarare en förbättrad version av H100. Följande översikt belyser de viktigaste skillnaderna mellan dessa två GPU:er:
- Minne och bandbredd: Medan NVIDIA H100 är utrustad med ett 80 GB HBM3-minne, har H200 GPU ett HBM3e-minne med en kapacitet på 141 GB. H200 ligger också klart i framkant när det gäller minnesbandbredd med 4,8 TB/s jämfört med 2 TB/s för H100.
- Prestanda för AI-inferens: I jämförelse ger NVIDIA H200 dubbelt så hög inferensprestanda för modeller som LLaMA 2-70 B. Detta möjliggör inte bara snabbare bearbetning, utan också effektiv skalning.
- HPC-applikationer och vetenskaplig databehandling: H100 erbjuder redan en förstklassig prestanda för komplexa beräkningar, som H200 överträffar. Inferenshastigheten är upp till dubbelt så hög och HPC-prestandan cirka 20 procent högre.