Så en ganske god presentasjon på hvorfor nye produktene til Nvidia var en gamechanger.
B100 er en direkte erstatning for H100, og kan settes direkte inn hvor man har H100.
80% økning i ytelse for samme effektbruk, 700 watt. Så store datasenter kan sømløst bytte ut H100 enheter gradvis.
B200 er en ny “state of the art chip” som vil ha ca 10-25% høyere ytelse en B100, men med ca 1000 watt forbruk.
Men B200 vil ha 4X bedre AI Training og 30X bedre AI Inference.
1 rack (GB200 NVL72) med 18 trays med B200, har en båndbredde på 130 TB/s, all to all communication. Som er mer en hele verdens samlede båndbredde.
Ett slikt rack utøver 1,4 exaFLOPS i AI ytelse.
Det finnes bare en håndfull systemer i dag med en slik ytelse. Nvidia har gjort det i et single rack og til en hyllevare, til dem som vil betale.
Ser man på nummer 1 på denne lista har den en ytelse på 1.2 exaFLOPS til en effekt på over 22 000 kW…
Til sammenligning skal et enkelt rack fylt med B200 kunne levere 1.4 exaFLOPS til en effekt på 120 kW