NVIDIA afslører nyt flagskib med H200-chip til kunstig intelligens

NVIDIA har annonceret lanceringen af en ny topchip til kunstig intelligens - H200, som skal erstatte den sparsomme accelerator H100.

Her er, hvad vi ved

Udvendigt adskiller H200 sig ikke meget fra sin forgænger. Men den vigtigste opdatering ligger i hukommelsen - den nye chip bruger en hurtigere HBM3e-type med højere kapacitet.

Takket være dette er hukommelsesbåndbredden steget til 4,8 Tbyte/s sammenlignet med 3,35 Tbyte/s i H100. Den samlede kapacitet er steget fra 80 GB til 141 GB.

NVIDIA hævder, at den nye chip leverer næsten dobbelt så meget ydelse i generative AI-opgaver sammenlignet med H100. Evalueringen er baseret på test af sprogmodellerne GPT-3 og Llama 2.

H200 er fuldt kompatibel med eksisterende systemer, der understøtter H100. Cloud-afdelingerne hos Amazon, Google, Microsoft og Oracle vil være blandt de første til at tilbyde de nye chips til deres kunder.

De første leverancer af den nye chip forventes i andet kvartal af 2024. Prisen er ukendt, men ifølge medierapporter sælges H100 for mellem 25.000 og 40.000 dollars.

Meddelelsen kom midt i en mangel på NVIDIA's AI-chips. Næste år planlægger virksomheden at øge produktionen af H100, som fortsat er efterspurgt blandt AI-udviklere.

Kilde: NVIDIA