Vad är Intel Gaudi 3? En pre­sen­ta­tion av AI-ac­ce­le­ra­torn

Intel Gaudi 3 är en kraftfull AI-ac­ce­le­ra­tor som är speciellt utformad för krävande AI-ar­bets­be­last­ning­ar. Gaudi 3 till­ver­kas med 5-na­no­me­ter­tek­nik, har 64 ten­sor­kär­nor och erbjuder dubbelt så hög FP8-prestanda och fyra gånger så hög AI-be­räk­nings­kraft som sin fö­re­gång­a­re. Detta gör Intels Gaudi 3 idealisk för in­fe­rens­upp­gif­ter och träning av stora AI-modeller.

Vilka är pre­stan­dae­gen­ska­per­na hos Intel Gaudi 3?

Med Gaudi 3 sätter Intel nya stan­dar­der när det gäller prestanda och ener­gi­ef­fek­ti­vi­tet. AI-ac­ce­le­ra­torn baseras på ar­ki­tek­tu­ren i Gaudi 2, men erbjuder betydligt mer da­tor­kraft, högre min­nes­band­bredd och bättre ener­gi­ef­fek­ti­vi­tet. Följande översikt sam­man­fat­tar de vik­ti­gas­te pre­stan­da­funk­tio­ner­na i Intel Gaudi 3:

• FP8-be­räk­nings­kraft: Gaudi 3 uppnår en FP8-be­räk­nings­kraft på 1,835 PFLOPS. Dess fö­re­gång­a­re uppnådde drygt 0,8 PFLOPS, vilket innebär att pre­stan­dan för FP8-be­räk­ning­ar har mer än för­dubb­lats.
• BF16-be­räk­nings­kraft: I BF16-be­räk­ning­ar uppnår Intel Gaudi 3 också 1,835 PFLOPS, vilket motsvarar en fyrfaldig ökning av be­räk­nings­kraf­ten jämfört med Gaudi 2.
• Nät­verks­band­bredd: Den dub­bel­rik­ta­de nät­verks­band­bred­den har för­dubb­lats till 1200 gigabit per sekund, vilket möjliggör snabbare kom­mu­ni­ka­tion mellan noder i AI-klus­ter­sy­stem.
• HBM-kapacitet och bandbredd: Med sitt HBM-minne på 128 gigabyte erbjuder Gaudi 3 50 procent mer min­nes­band­bredd än fö­re­gå­en­de ge­ne­ra­tion. HBM-band­bred­den på 3,7 terabyte per sekund motsvarar en ökning med 33 procent.

Intel Gaudi 3 har två be­räk­nings­kret­sar (speciella be­räk­nings­en­he­ter) som in­ne­hål­ler 64 ten­sor­pro­ces­sor­kär­nor och 8 MME:er (ma­tris­mul­ti­pli­ka­tions­mo­to­rer för pa­ral­lell­be­ar­bet­ning). De 24 RDMA NIC-portarna, var och en med 200 gigabit per sekund, sä­ker­stäl­ler snabb kom­mu­ni­ka­tion via stan­dar­di­se­ra­de Ethernet-nätverk.

Vilka är för­de­lar­na och nack­de­lar­na med Intel Gaudi 3?

Att använda en AI-ac­ce­le­ra­tor av Gaudi 3-ge­ne­ra­tio­nen har flera fördelar. De vik­ti­gas­te av dessa är:

• Hög da­tor­kraft: Med 1 835 PFLOPS FP8- och BF16-prestanda erbjuder Intels Gaudi 3 ena­stå­en­de prestanda som är jämförbar med den betydligt dyrare NVIDIA H100. Enligt ett press­med­de­lan­de från Intel över­träf­far den egen­ut­veck­la­de AI-ac­ce­le­ra­torn till och med NVIDIAs flagg­skepp på vissa områden.
• Hög ener­gi­ef­fek­ti­vi­tet: Gaudi 3 AI-ac­ce­le­ra­to­rer­na till­ver­kas med 5-na­no­me­ter­pro­ces­sen (av TSMC), vilket möjliggör en högre ef­fekt­tät­het. Detta minskar ström­för­bruk­ning­en och sänker drifts­kost­na­der­na i da­ta­cen­ter.
• Kost­nads­ef­fek­tiv AI-skal­bar­het: Med Intel Gaudi 3 kan systemen skalas flexibelt både vertikalt och ho­ri­son­tellt, vilket är särskilt för­del­ak­tigt för komplexa in­stal­la­tio­ner.
• Stöd för öppna stan­dar­der: Eftersom Gaudi 3 stöder öppna stan­dar­der kan AI-ac­ce­le­ra­to­rer­na in­te­gre­ras flexibelt i be­fint­li­ga IT-in­fra­struk­tu­rer. Detta gör företagen mer oberoende i sitt val av AI-platt­for­mar.

AI-ac­ce­le­ra­to­rer­na har dock också betydande nackdelar. Även om Intel Gaudi 3 har först­klas­sig prestanda, erbjuder de avan­ce­ra­de chipsen från NVIDIA ännu bättre prestanda totalt sett. Varför är detta viktigt? Eftersom företag som är verksamma inom AI-området hittills har tenderat att välja den mest kraft­ful­la lösningen snarare än den mest kost­nads­ef­fek­ti­va. Som ett resultat är Intel Gaudi 3 mindre vanligt än AI-ac­ce­le­ra­to­rer från NVIDIA, vars ekosystem drar nytta av ett brett stöd från AI-ut­veck­lings­team.

Vilka an­vänd­nings­om­rå­den passar Intel Gaudi 3 bäst för?

Intel Gaudi 3 har ut­veck­lats speciellt för be­räk­nings­in­ten­si­va AI-ar­bets­be­last­ning­ar och är särskilt lämplig för in­fe­rens­upp­gif­ter som kräver hög pa­ral­lell­be­ar­bet­ning och min­nes­band­bredd. Typiska ar­bets­be­last­ning­ar in­klu­de­rar text­ge­ne­re­ring med stora språk­mo­del­ler (LLM), bild­ge­ne­re­ring och talsyntes. Tack vare sin höga in­fe­rens­has­tig­het och op­ti­me­ra­de FP8-ar­ki­tek­tur möjliggör Gaudi 3 kraftfull och ener­gi­ef­fek­tiv be­ar­bet­ning av ge­ne­ra­ti­va AI-modeller. Det finns dock även andra an­vänd­nings­om­rå­den. Dessa in­klu­de­rar:

• Grund­läg­gan­de träning av stora AI-modeller: Gaudi 3 gör det möjligt att bearbeta stora da­ta­mäng­der effektivt. AI-ac­ce­le­ra­to­rer­na är därför idealiska för att träna AI-modeller – såsom neurala nätverk för ma­ski­nin­lär­ning eller trans­for­mator­mo­del­ler som GPT och LLaMA – från grunden.
• Bild­be­hand­ling och da­tor­se­en­de: Tack vare sin höga da­tor­kraft kan Intel Gaudi 3 bearbeta komplexa bilddata i realtid. Detta gör också AI-ac­ce­le­ra­torn lämplig för ap­pli­ka­tio­ner som sä­ker­hets­ö­ver­vak­ning eller in­dust­ri­ell au­to­ma­ti­se­ring.
• GPU-servrar och AI-kluster i da­ta­cen­ter: Intel Gaudi 3 kan användas för GPU-servrar för att till­han­da­hål­la den da­tor­kraft som krävs för AI-träning och in­fe­rens­upp­gif­ter.

Vilka är de möjliga al­ter­na­ti­ven till Intel Gaudi 3?

Det finns olika AI-ac­ce­le­ra­to­rer som kan betraktas som al­ter­na­tiv till Intel Gaudi 3. Ett av de mest kända al­ter­na­ti­ven och kon­kur­re­ran­de pro­duk­ter­na är NVIDIA H100. Medan Intel-ac­ce­le­ra­torn är idealisk för in­fe­rensap­pli­ka­tio­ner, erbjuder H100 hög­pre­ste­ran­de prestanda för AI- och data­ve­ten­skap­li­ga an­vänd­nings­fall. Ett annat ofta valt al­ter­na­tiv till Gaudi 3 är NVIDIA A30, som kom­bi­ne­rar hög prestanda med ett över­kom­ligt pris.