Rekordleistung: 17.000 Token pro Sekunde mit der neuen Lösung des Start-ups Taalas

Kürzlich hat das kanadische Start-up Taalas sein erstes Produkt vorgestellt – den Chip HC1 mit Llama 3.1 8B. Das Besondere an dem Ansatz des Unternehmens ist, dass das Modell nicht in den Speicher geladen, sondern während der Produktion direkt in den Siliziumchip eingebaut wird. Dadurch kann ein Rekordergebnis von 17.000 Token pro Sekunde und Benutzer erreicht werden. Dieses Ergebnis ist fast zehnmal schneller als GPU-Lösungen, außerdem werden erhebliche Energieeinsparungen erzielt und die Produktionskosten minimiert.

Das Unternehmen Taalas

Das Start-up wurde von Ljubiša Bajić, ehemaliger Direktor für integrierte Schaltkreise bei AMD, seiner Frau Leila Bajić (ehemalige Technologiemanagerin und Ingenieurin bei AMD, ATI, Altera) und Drago Ignjatović (ehemaliger Direktor für ASIC-Design bei AMD) gegründet.

Das Hauptkonzept des Unternehmens lässt sich als „totale Spezifikation” bezeichnen. Für jedes Modell plant das Unternehmen die Herstellung eines separaten Chips. Der Mikrochip wird aus etwa 100 Schichten bestehen, von denen nur die beiden obersten entsprechend angepasst werden, in die ein Mask-ROM-Recall-Fabric eingebaut wird. Auf diese Weise kann der Chip in zwei statt in sechs Monaten hergestellt werden. Außerdem werden Rechenleistung und Speicher auf einem einzigen Chip vereint.

Derzeit führt eine derart aggressive Quantisierung zu einer geringeren Qualität im Vergleich zu GPU-Benchmarks. Das Start-up räumt diese Tatsache ein und positioniert sein Produkt daher als Beta-Dienst. Die minimale Flexibilität des Chips bleibt aufgrund der Möglichkeit des Nachlernens über LaRA-Adapter und des Vorhandenseins eines Kontextfensters erhalten.

Das Unternehmen hat Investitionen in Höhe von 200 Millionen Dollar angezogen und plant, in Kürze einen neuen mittelgroßen Chip auf den Markt zu bringen. Gegen Ende des Jahres ist möglicherweise die Einführung eines fortschrittlichen LLM auf der HC2-Plattform geplant.

Wir hoffen, dass Ihnen dieser Artikel gefallen hat – was meinen Sie? Liken Sie ihn und abonnieren Sie unseren Blog, um weitere praktische Tipps und die neuesten Technologie-News von HostZealot zu erhalten.