Viele Jahre lang schien die Entwicklung von Prozessoren der Logik der Vorhersage von Gordon E. Moore zu folgen, wonach sich die Kapazität von Zentralprozessoren alle paar Jahre verdoppelt, während sich ihre Kosten halbieren. Was wir jetzt erleben, ähnelt jedoch mehr und mehr dem "Huang'schen Gesetz", das Jensen Huang im Jahr 2018 vorausgesagt hat. Nach diesem neueren Gesetz werden sich Grafikprozessoren viel schneller entwickeln als zentrale Recheneinheiten. Gleichzeitig wird die CPU-Industrie an ihre Grenzen stoßen, da die Chips immer teurer werden und die Notwendigkeit besteht, die Halbleiterindustrie und Computing-Ansätze zu überdenken.
Die Tendenz zum Huang'schen Gesetz wurde kürzlich von NVIDIA in der Rede seines Chief Scientist Bill Dally aufgezeigt.
Die jüngsten Entwicklungen von Dallys Team haben in den letzten 10 Jahren eine 1000-fache Steigerung der KI-Leistung erreicht.
Dieser Fortschritt wurde in vielerlei Hinsicht dadurch erreicht, dass neue Ansätze zur Optimierung der Art und Weise, wie Computer Berechnungen durchführen, gefunden wurden und die Darstellung von Zahlen, die Computer für Berechnungen verwenden, erleichtert wurde.
Insbesondere die NVIDIA Hopper-Architektur mit Transformer Engine erreicht ihre Hochleistungsindikatoren durch eine dynamische Mischung aus 8- und 16-Bit-Gleitkomma- und Ganzzahlberechnungen.
Ein weiterer Faktor sind die sorgfältig entwickelten Anweisungen, die der GPU "erklären", wie sie eine bessere Leistung bei höherer Energieeffizienz erreichen kann.
Die in NVIDIA Ampere eingeführte strukturelle Sparsamkeit steigert die KI-Leistung, indem sie das Gewicht der KI-Modelle reduziert, ohne deren Genauigkeit zu beeinträchtigen.
Dally ist optimistisch, was die weitere Entwicklung von Grafikprozessoren nach dem Huang'schen Gesetz angeht, da ihr Potenzial in den nächsten Jahren nicht ausgeschöpft werden wird.
