Red Hat führt llm-d ein, eine Kubernetes-basierte Plattform für skalierbare KI-Inferenz

Red Hat hat llm-d vorgestellt, ein neues Open-Source-Projekt, das für die hochperformante verteilte Inferenz von großen Sprachmodellen (LLMs) entwickelt wurde. Die Plattform wird auf Basis von Kubernetes entwickelt und konzentriert sich auf die Vereinfachung der Skalierung von generativer KI. Der Quellcode ist auf GitHub unter der Apache 2.0 Lizenz verfügbar.

Die wichtigsten Funktionen von llm-d

Zu den Hauptmerkmalen der Plattform gehören

• Optimierter Inferenz-Scheduler für vLLM;
• Disaggregierte Service-Architektur;
• Wiederverwendung von Präfix-Caches;
• Flexible Skalierung je nach Datenverkehr, Aufgaben und verfügbaren Ressourcen.

Zusammenarbeit mit führenden Akteuren der KI-Branche

Die Entwicklung wird in Partnerschaft mit Unternehmen wie Nvidia, AMD, Intel, IBM Research, Google Cloud, CoreWeave, Hugging Face und anderen durchgeführt. Eine solche Zusammenarbeit unterstreicht die Ernsthaftigkeit des Ansatzes von llm-d und das Potenzial der Plattform als Industriestandard.

Technologie und Architektur

Das Projekt nutzt die vLLM-Bibliothek für verteilte Inferenz sowie Komponenten wie LMCache für KV-Cache-Offloading, KI-gestütztes intelligentes Traffic-Routing, hocheffiziente Kommunikations-APIs und automatische Skalierung auf Last und Infrastruktur.

All dies ermöglicht es Ihnen, das System an unterschiedliche Nutzungsszenarien und Leistungsanforderungen anzupassen. Die Markteinführung von llm-d kann ein wichtiger Schritt sein, um leistungsstarke KI-Systeme zu demokratisieren und sie einem breiten Publikum von Entwicklern und Forschern zugänglich zu machen.