Cerebras Systems, ein in den USA ansässiges Startup, brachte den größten Chip auf den Markt, der mehr als 1,2 Billionen Transistoren integriert und eine Größe von 46.225 Quadratmillimetern hat. Der neue WSE-Chip (Cerebras Wafer Scale Engine) ist für AI optimiert und 56,7-mal größer als die größte Grafikverarbeitungseinheit mit 815 Quadratmillimetern und 21,1 Milliarden Transistoren. Die neue Cerebras Wafer Scale Engine (WSE) bietet 3.000-mal mehr Hochgeschwindigkeits-On-Chip-Speicher und 10.000-mal mehr Speicherbandbreite. Die größere Größe des Chips stellt sicher, dass Informationen schneller verarbeitet werden können, und kann sogar die Zeit bis zur Einsicht oder die „Trainingszeit“ verkürzen, wodurch die Forscher mehr Ideen testen, mehr Daten verwenden und neue Probleme lösen können.
Der Cerebras WSE wurde für KI entwickelt und enthält grundlegende Innovationen, die den Stand der Technik voranbringen, indem sie jahrzehntealte technische Herausforderungen mit begrenzter Chipgröße lösen - wie z. B. Konnektivität zwischen Retikeln, Ertrag, Stromabgabe und Verpackung. Die WSE kann Berechnungen und Kommunikation beschleunigen, wodurch die Schulungszeit verkürzt wird. Die WSE hat 56,7-mal mehr Siliziumfläche als die größte Grafikverarbeitungseinheit. Außerdem kann der WSE mehr Kerne bereitstellen, um mehr Berechnungen durchzuführen, und bietet mehr Speicher näher an den Kernen, sodass die Kerne effizient arbeiten können. Die gesamte Kommunikation wird auf Silizium selbst gehalten, da eine Vielzahl von Kernen und Speicher auf einem einzigen Chip eingebettet sind.
Der Cerebras WSE-Chip enthält 46.225 mm2 Silizium und enthält 400.000 AI-optimierte Rechenkerne ohne Cache, ohne Overhead und 18 Gigabyte lokalen, verteilten, superschnellen SRAM-Speicher. Der Chip verfügt über eine Speicherbandbreite von 9 Petabyte pro Sekunde, wobei die Kerne mit einem feinkörnigen Kommunikationsnetzwerk mit ausschließlich Hardware und On-Chip-Mesh verbunden sind, das eine Gesamtbandbreite von 100 Petabit pro Sekunde liefert. Dies bedeutet, dass die Kommunikationsbandbreite von WSE mit geringer Latenz extrem groß ist, wodurch die Gruppen von Kernen mit maximaler Effizienz zusammenarbeiten können und die Speicherbandbreite kein Engpass mehr ist. Mehr lokaler Speicher, mehr Kerne und eine Struktur mit geringer Latenz und hoher Bandbreite bilden zusammen die optimale Architektur zur Beschleunigung der KI-Arbeit.
Die Eigenschaften des Cerebras WSE-Chips:
- Erhöhte Kerne: Die WSE integriert 400.000 AI-optimierte Rechenkerne, die als SLAC (Sparse Linear Algebra Cores) bezeichnet werden und programmierbar, flexibel und für die spärliche lineare Algebra optimiert sind, die allen Berechnungen des neuronalen Netzwerks zugrunde liegt. Die Programmierbarkeitsfunktion von SLAC stellt sicher, dass die Kerne problemlos alle neuronalen Netzwerkalgorithmen in einem sich ständig ändernden Bereich des maschinellen Lernens ausführen können. Die WSE-Kerne enthalten die von Cerebras erfundene Sparsity Harvesting-Technologie, die die Rechenleistung bei spärlichen Workloads (Workloads, die Nullen enthalten) wie Deep Learning beschleunigt.
- Verbesserter Speicher: Der Cerebras WSE integriert mehr lokalen Speicher zusammen mit mehr Kernen. Dies ist mehr als jeder andere Chip, der eine flexible, schnelle Berechnung bei geringerer Latenz und weniger Energie ermöglicht. Der WSE verfügt über 18 GB (Gigabyte) On-Chip-Speicher, auf den sein Kern in einem Taktzyklus zugreifen kann. Durch diese Sammlung von lokalem Kernspeicher liefert die WSE insgesamt 9 Petabyte pro Sekunde Speicherbandbreite, was einer 10.000-fachen Speicherbandbreite und einer 3.000-fachen Speicherbandbreite entspricht