KI-Cluster-Netzwerkdesign: Spine-Leaf, RoCE und NICs

Beim KI-Cluster-Netzwerkdesign werden die GPU-Server-NICs, die Leaf-Spine-Bandbreite, das Überbuchungsverhältnis, die RoCE-Einstellungen, die Optik und die Verkabelung so dimensioniert, dass der verteilte Trainingsverkehr bei der Skalierung des Clusters vorhersehbar bleibt. Wenn einer dieser Punkte falsch ist, wird das Netzwerk - und nicht die GPU - zum Engpass.

Warum KI-Cluster-Netzwerke anders sind

In einem herkömmlichen Unternehmensrechenzentrum verarbeitet das Netzwerk eine Mischung aus Nord-{0}}Süd-Benutzerverkehr, Speicherzugriff, Virtualisierung und Verwaltung. Es gibt Ost-West-Verkehr, der aber selten die Hauptlast darstellt. In einem KI-Cluster dreht sich die Situation um. GPU-Server, auf denen verteiltes Training ausgeführt wird, tauschen Farbverläufe aus und synchronisieren Parameter bei jedem Schritt des Jobs. Diese Kommunikation ist Teil der Berechnung und kein Nebeneffekt davon.

Wenn eine 30.000-Dollar-GPU 30 % ihrer Zeit damit verbringt, während aller-Reduzierungsvorgänge im Netzwerk zu warten, zahlt der Cluster effektiv dafür, dass 30 % seiner Rechenkapazität ungenutzt bleiben. Das ist der wirtschaftliche Grund, warum der KI-Vernetzung so viel Aufmerksamkeit geschenkt wird.

Drei Workload-Merkmale bestimmen das Design:

• Starker Ost--Westverkehr.Kollektive Kommunikationsvorgänge wie All-Reduce, All-Gather und Reduce-Scatter erzeugen synchronisierte Bursts über viele Knoten gleichzeitig.
• Tail-Latenzempfindlichkeit.Ein einzelner langsamer Knoten verzögert den gesamten Trainingsschritt. Vorhersehbare Latenz ist wichtiger als die durchschnittliche Latenz.
• Skalieren Sie-das Wachstum.Cluster, die mit 32 GPUs beginnen, wachsen oft innerhalb von 18 Monaten auf 256 oder 1.024. Der Stoff muss ohne Neugestaltung skalierbar sein.

Warum Spine-Leaf zu KI-Clustern passt

Spine-leaf ist die Standardstruktur für Hyperscale-Rechenzentren, da es jedem Server-zu-Serverpfad die gleiche Hop-Anzahl und die gleiche theoretische Bandbreite gibt. Bei KI-Workloads führt diese Einheitlichkeit direkt zu vorhersehbareren Trainingsschrittzeiten.

In einer Spine{0}}Leaf-Topologie stellen GPU-Server eine Verbindung zu Leaf-Switches her und jedes Leaf stellt eine Verbindung zu jedem Spine her. Jede GPU-zu-GPU-Kommunikation überquert genau ein Blatt, ein Rückgrat und ein weiteres Blatt. Es gibt keine Aggregationsschichten, die zu variabler Latenz oder Engpässen führen.

Vorhersehbare Latenz

Equal{0}}Cost Multi-Path (ECMP)-Routing verteilt Ströme über Spine-Switches. Bei korrekter Konfiguration mit adaptivem Routing oder dynamischem Lastausgleich werden dadurch Hash-Kollisionen vermieden, die dazu führen, dass einige Flüsse viel langsamer sind als andere - ein bekanntes Problem in statischen ECMP-Fabrics, die wenige, aber große Flüsse transportieren, was genau das ist, was das KI-Training erzeugt.

Hohe Halbierungsbandbreite

Die Halbierungsbandbreite ist der Durchsatz, der zwischen zwei gleichen Hälften des Clusters verfügbar ist. Das KI-Training profitiert von nicht-blockierenden oder nahezu-nicht-blockierenden Designs, bei denen die Leaf--zu-Uplink-Kapazität der Downlink-Kapazität gegenüber den Servern entspricht oder nahezu dieser entspricht. Die IETF definiert und diskutiert diese Konzepte inRFC 7938, das BGP-geroutete Clos-Fabrics abdeckt, die häufig in großen-Rechenzentren verwendet werden.

Einfachere Skalierung-

Fügen Sie weitere Blätter hinzu, um weitere Server hinzuzufügen. Fügen Sie weitere Spines hinzu, um mehr Halbierungsbandbreite hinzuzufügen. Für Cluster mit mehr als einigen tausend GPUs erweitert eine Super-Spine-Topologie (5-Stufen-Clos) oder eine Rail-optimierte Topologie das gleiche Prinzip um eine Ebene weiter.

Kernkomponenten eines KI-Clusternetzwerks

GPU-Server und NICs

Auf der NIC trifft die Fabric auf den Host. In KI-Clustern bestimmt die NIC-Auswahl alles nachgeschaltete - Switch-Port-Geschwindigkeit, optische Wahl und Verkabelungsdichte.

Auswahlkriterien für KI-Workloads:

• Portgeschwindigkeit:200G, 400G oder 800G pro Port. Passend zur GPU-Generation und PCIe-Bandbreite.
• PCIe-Generierung:Eine 400G-NIC benötigt PCIe Gen5 x16, um eine hostseitige Drosselung zu vermeiden. PCIe Gen4 x16 ist auf ~256 Gbit/s nutzbar.
• RDMA- und RoCEv2-Unterstützung:Erforderlich für die Kernel--Umgehung von GPU-Kommunikationsbibliotheken wie NCCL.
• GPUDirect RDMA:Ermöglicht direktes GPU--zu-NIC-DMA und entfernt Host-Speicherkopien.
• Multi-Rail-Fähigkeit:Viele KI-Server verwenden 4 oder 8 NICs pro Knoten, eine pro GPU-Paar, für Rail-optimierte Topologien.

Ein typischer 8-GPU-Server verwendet heute je nach Arbeitslast und Budget entweder 4× 400G-NICs (eine pro zwei GPUs) oder 8× 400G-NICs (eine pro GPU). Referenzarchitekturen vonNVIDIA-NetzwerkdokumentationBehandeln Sie die Design-Kompromisse im Detail.

Blatt- und Wirbelsäulenschalter

Die Switch-Auswahlkriterien für KI-Fabrics unterscheiden sich von der Unternehmensauswahl. Puffergröße, Überlastungskontrollverhalten und Telemetrie sind wichtiger als die Funktionsbreite.

• Pro-Port-Geschwindigkeit und Basis:Ein 51,2-Tbit/s-Switch-ASIC liefert 64× 800G-Ports oder 128× 400G-Ports. Radix bestimmt, wie flach der Stoff sein darf.
• Pufferarchitektur:Tiefe Puffer absorbieren Incast-Bursts, erhöhen aber die Latenz. Flache Puffer verringern die Latenz, erfordern jedoch eine präzise Überlastungskontrolle.
• RoCE-Funktionsumfang:ECN-Markierung, PFC, DCQCN oder gleichwertige Überlastungskontrolle und ordnungsgemäße Handhabung von Prioritätswarteschlangen von Ende{0}}bis-.
• Telemetrie:Inband-Netzwerktelemetrie (INT), Berichte zur Warteschlangentiefe pro-und Mikrosekunden-Auflösungszähler für ECN-Markierungen und PFC-Pausen.

Optik, DAC und AOC-Verkabelung

Bei 400G und 800G wird die Verkabelungsanlage zu einem echten technischen Problem. Formfaktoren, Verbindungsbudgets und Breakout-Konfigurationen erfordern alle eine frühzeitige Planung.

• DAC (Direktanbindung Kupfer):Bis zu ~3 Meter für 400G, niedrigste Kosten und geringster Stromverbrauch. Schwer und sperrig im Maßstab.
• AOC (Aktives optisches Kabel):Bis zu ca. 30 Meter, dünner als DAC, aber feste-Länge und verbraucht an beiden Enden optische Leistung.
• Steckbare Optik:Erforderlich über die AOC-Entfernung hinaus. QSFP-DD- und OSFP-Formfaktoren dominieren 400G/800G. MPO/MTP-Glasfaserbaugruppen übernehmen die parallelen -Glasfaserverbindungen.

Für Inter-Rack-Verbindungen und strukturierte Verkabelung bei 400G/800G sind Paralleloptiken über MPO-Abschlüsse mittlerweile Standard. Die Wahl zwischen Trunk-Kabeln und Breakout-Baugruppen hängt von der Zuweisung Ihres Switch-Ports ab - siehe unsereMPO-Breakout-Kabelführungfür die praktische Auswahllogik und darüber hinausVergleich zwischen MPO-Trunk und Breakoutbei der Planung von Blatt-{0}}zu-Spine-Läufen.

RoCE und verlustfreies Ethernet in AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) ist der dominierende Ethernet-Transport für KI-Workloads. Damit können NICs Daten direkt zwischen GPU-Speicherregionen verschieben, ohne dass der Kernel auf beiden Seiten beteiligt ist. NCCL, die GPU-Kommunikationsbibliothek, die fast allen verteilten Trainings-Frameworks zugrunde liegt, verwendet RoCEv2, wenn InfiniBand nicht verfügbar ist.

RoCE funktioniert gut, wenn es richtig konfiguriert ist. Es schlägt hässlich fehl, wenn es falsch konfiguriert ist. DerInfiniBand-Handelsverbandveröffentlicht die RoCE-Spezifikationen und die meisten NIC- und Switch-Anbieter veröffentlichen detaillierte Konfigurationshandbücher, die durchgängig befolgt werden sollten.

Warum verlustfreies Verhalten wichtig ist

RDMA wurde unter der Annahme eines verlustfreien Transports entwickelt. Wenn Pakete verloren gehen, ist die RDMA-Wiederherstellung teuer - go-zurück-N. Eine erneute Übertragung kann einen Trainingsschritt für Millisekunden verzögern, was im Vergleich zum RDMA-Budget im Mikrosekundenbereich- enorm ist.

Um das verlustfreie Verhalten im Ethernet anzunähern, nutzt die Fabric zwei zusammenarbeitende Mechanismen:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Ein Switch pausiert eingehenden Datenverkehr in einer bestimmten Prioritätswarteschlange, wenn sein Puffer voll ist. Dies ist ein letzter Ausweg.
• ECN (Explizite Stauanzeige, RFC 3168):Switches markieren Pakete, wenn sich die Warteschlangen einem Schwellenwert nähern. Die NIC reduziert ihre Senderate, bevor sich die Puffer tatsächlich füllen, und vermeidet PFC idealerweise vollständig.

Das Ziel besteht darin, dass ECN fast das gesamte Überlastungsmanagement übernimmt, mit PFC als Sicherheitsnetz. Wenn Sie im stationären Datenverkehr häufige PFC-Pausen feststellen, sind Ihre ECN-Schwellenwerte falsch oder Ihre Fabric ist zu klein.

Häufige RoCE-Bereitstellungsfehler

So entwerfen Sie ein KI-Cluster-Netzwerk: Ein funktionierendes Framework

Dies ist der Abschnitt, den die meisten Artikel zum Thema „KI-Netzwerke“ überspringen. Die folgenden sieben Schritte liefern Ihnen konkrete Inputs und Outputs in jeder Phase.

Schritt 1: Arbeitslast und Umfang definieren

Eingaben:Arbeitslasttyp (Vortraining, Feinabstimmung, Inferenz, gemischt), Ziel-GPU-Anzahl heute, Ziel-GPU-Anzahl in 18 Monaten, Modellgrößenbereich.

Ausgabe:Ein Arbeitslastprofil, das Informationen zur NIC-Geschwindigkeit und zur Überbuchungstoleranz liefert. Ein umfangreiches Vortraining von Grenzmodellen erfordert nicht{{1}blockierende 400G+-Fabrics. Feinabstimmungsarbeitslasten können eine Überabonnement von 2:1 tolerieren. Inferenzcluster benötigen oft eine geringere Bandbreite, aber eine geringere Tail-Latenz.

Schritt 2: Wählen Sie NIC-Geschwindigkeit und Anzahl pro Server

Entscheidungslogik:

• Vorschulung großer Modelle, 8-GPU-Server → 4–8× 400G-NICs pro Server oder 4× 800G
• Mittel-Schulung, 8-GPU-Server → 2–4× 400G-NICs pro Server
• Inferenzbereitstellung → 1–2× 200G oder 400G NICs pro Server, abhängig von der Modellparallelität

Überprüfen Sie die PCIe-Bandbreite auf dem Host. Ein einzelner 400G-Port erfordert PCIe Gen5 x16, um mit Leitungsgeschwindigkeit zu laufen; Die Verdoppelung auf 800G erfordert Gen6 oder die Aufteilung auf zwei Steckplätze.

Schritt 3: Größe der Blattschicht festlegen

Ausgearbeitetes Beispiel eines - 32-Knotenclusters, 8 GPUs pro Knoten, 4× 400G-NICs pro Knoten:

• Insgesamt benötigte serverseitige Ports: 32 × 4=128 Ports bei 400 G
• Downlink-Bandbreite pro Knoten: 4 × 400=1.6 Tbit/s
• Gesamte Cluster-Downlink-Bandbreite: 32 × 1.6=51.2 Tbit/s

Mit einem 400G-Leaf-Switch mit 64 Ports (25,6 Tbit/s Gesamtkapazität) kann jeder Leaf 32 Server-Ports verbinden und die verbleibenden 32 Ports als Uplinks nutzen. Mit 4 Blättern decken Sie alle 128 Server-Ports ab. Jedes Blatt trägt 32 × 400G=12.8 Tbit/s Uplink zur Wirbelsäule bei.

Schritt 4: Größe der Rückenschicht anpassen

Für ein nicht-blockierendes (1:1) Design muss die gesamte Uplink-Kapazität der gesamten Downlink-Kapazität entsprechen. Ab Schritt 3:

• Insgesamt erforderlicher Leaf-Uplink: 4 Leaves × 12,8 Tbit/s=51.2 Tbit/s
• Wenn jeder Spine über 32× 400G-Ports=12.8 Tbit/s verfügt, benötigen Sie 4 Spines
• Jedes Blatt verbindet sich mit allen 4 Spines über 8 Uplinks pro Spine (8 × 400G × 4=12.8 Tbit/s pro Blatt - Übereinstimmungen)

Bei Verwendung von 400G-Spine-Switches mit 64 Ports verfügt jeder Spine über freie Kapazität zum Erweitern des Clusters, was für den 18-Monats-Plan ab Schritt 1 nützlich ist.

Schritt 5: Legen Sie das Überzeichnungsverhältnis fest

Schritt 6: Trennen Sie den Rechen-, Speicher- und Verwaltungsverkehr

Drei Optionen, in der Reihenfolge zunehmender Isolation:

• Shared Fabric mit QoS-Klassen:Rechenleistung, Speicherung und Verwaltung auf separaten DSCP-Prioritäten. Niedrigste Kosten; erfordert eine sorgfältige QoS-Konfiguration.
• Logisch getrennte VLANs/VRFs:Gleiche Hardware, separate Steuerungsebenen. Nützlich für Cluster mit mehreren Mandanten.
• Physisch getrennte Stoffe:Dedizierte NICs, Switches und Verkabelung für Computing vs. Storage. Höchste Kosten; kommt häufig in Frontier--Modellclustern vor, in denen jegliche Konflikte inakzeptabel sind.

Der Speicherverkehr für KI ist selbst sehr umfangreich. - Checkpoint-Schreibvorgänge für ein großes Modell können Hunderte von Gigabyte in kurzen Stößen verschieben. Planen Sie es explizit ein. Eine strukturierte Verkabelungsanlage mit hoher -DichteMPO/MTP-Trunkkabelvereinfacht die Ausführung paralleler Fabrics in derselben physischen Infrastruktur.

Schritt 7: Vor der Produktion validieren

Bei Tests auf Netzwerkebene- treten einige Probleme auf. Tests auf Workload--Ebene erledigen den Rest.

• Bandbreite:iperf3 oder ib_send_bw zwischen jedem Knotenpaar; sollte 90 %+ der NIC-Leitungsrate erreichen.
• Latenz:ib_read_lat oder ähnlich; Überprüfen Sie die Verteilung, nicht nur den Durchschnitt. P99.9 ist wichtiger als der Mittelwert.
• Paketverlust:Führen Sie einen 24-{1}stündigen Einweichtest unter Last durch. Jeder Verlust ungleich Null in der RoCE-Verkehrsklasse ist ein Problem.
• ECN-Markierungsverhalten:Überprüfen Sie, ob Markierungen erscheinen, bevor PFC ausgelöst wird. Wenn es im eingeschwungenen Zustand häufig zu PFC-Pausen kommt, muss eine Neuabstimmung durchgeführt werden.
• Kollektive Kommunikation:Führen Sie NCCL-Tests (all_reduce_perf, all_gather_perf) mit der vollen Clustergröße aus. Vergleichen Sie sie mit den Referenznummern der Anbieter.
• Job-Test:Führen Sie einen repräsentativen Schulungsauftrag für 4–6 Stunden durch. Beobachten Sie, dass die GPU-Auslastung - anhaltende Werte unter 50 % bei einem Modell mit der richtigen{5}}Größe normalerweise auf ein Netzwerkproblem hindeutet.

Traditionelles Rechenzentrumsnetzwerk vs. AI Spine-Leaf Fabric

Ethernet RoCE vs. InfiniBand: Kurzanleitung zur Entscheidung

Die Frage taucht in fast jedem KI-Cluster-Projekt auf. Beide funktionieren. Bei der Wahl kommt es in der Regel auf die betriebliche Eignung und nicht auf die reine Leistung an.

• Wählen Sie InfiniBand, wenn:Ihr Team betreibt bereits InfiniBand-Fabrics, Sie möchten den einfachsten Weg zum verlustfreien Transport oder Sie kaufen eine vollständig-integrierte Anbieterreferenzarchitektur.
• Wählen Sie Ethernet RoCE, wenn:Ihr Betriebsteam ist Ethernet-{{0}nativ, Sie möchten Switch-Optionen mehrerer-Anbieter, Sie müssen die KI-Fabric in bestehende Rechenzentrumsnetzwerke integrieren oder Sie rechnen mit einer Skalierung, die über das hinausgeht, was aktuelle InfiniBand-Topologien sauber unterstützen.

Das 2023 gegründete Ultra Ethernet Consortium arbeitet aktiv an der Standardisierung von Ethernet-Erweiterungen speziell für KI-Workloads. Für die meisten neuen Cluster im Jahr 2026 ist Ethernet RoCE ein vertretbarer Standard, es sei denn, es gibt einen bestimmten Grund, sich anders zu entscheiden.

Häufige Fehler, die es zu vermeiden gilt

Upgraden von Switches ohne Überprüfung der Netzwerkkarten

Eine 800G-Switch-Fabric nützt Ihnen nichts, wenn Ihre NICs mit 400G laufen oder die Bandbreite Ihres Host-PCIe ausgeht. Entwerfen Sie zuerst die Host-Seite und dann die Switch-Seite. PCIe Gen5 x16 begrenzt einen einzelnen Port auf etwa 504 Gbit/s realen -Weltdurchsatz -, was für 400G angenehm, für 800G marginal ist.

Optimierung der Portgeschwindigkeit, aber Ignorieren der Verkabelungsdichte

Bei 64-Port-400G-Abgängen kann die Verkabelung unter jedem Switch ohne Planung physisch unüberschaubar werden. Verwenden Sie gegebenenfalls Breakout-Kabel, verlegen Sie Fasern durch strukturierte Pfade und standardisieren Sie die Steckertypen. Steckerqualität und Terminierung sind bei hohen Geschwindigkeiten wichtig – unsereLeitfaden für Glasfaser-Steckertypendeckt die Kompromisse zwischen LC, MPO und neuen Formfaktoren mit hoher{0}}Dichte ab.

RoCE als Plug-and-behandeln

Der größte Entwurfsfehler in echten KI-Clustern besteht darin, nicht den falschen Schalter zu wählen -, sondern zu unterschätzen, wie viel End-zu-RoCE-Konfigurationsarbeit erforderlich ist. Budgetieren Sie Zeit für die Abstimmung von ECN-Schwellenwerten, PFC-Prioritäten und MTU-Konsistenz. Planen Sie eine dedizierte Validierungsphase ein, bevor ein Produktions-Workload ausgeführt wird.

Mischen des gesamten Datenverkehrs auf einer Fabric ohne QoS

Speicherreplikation, Überwachungsagenten und Verwaltungsverkehr können die Trainingsschrittzeiten verkürzen, wenn sie Puffer mit dem Rechenverkehr teilen. Trennen Sie sie entweder physisch oder erzwingen Sie strenge QoS-Klassen mit separaten Prioritäten und ECN-Konfiguration.

Nur für den heutigen Cluster bauen

Die meisten KI-Cluster wachsen innerhalb von zwei Jahren nach der ersten Bereitstellung um das Vier- bis Achtfache. Wählen Sie eine Switch-Radix- und Spine-Kapazität, die eine unterbrechungsfreie Erweiterung ermöglicht. Das Ziehen von Kabeln in einem Live-KI-Rechenzentrum ist teuer; Die Planung von Leitungs- und Patchkapazitäten zum Zeitpunkt der Bereitstellung ist kostengünstig.

Wann sollte von 400G auf 800G umgestiegen werden?

800G-NICs und Switches sind verfügbar, aber pro Port teurer. Erwägen Sie eine Verstärkung, wenn:

• Pro-GPU-Bandbreitenbedarf übersteigt das, was 400G bieten kann -Beispielsweise erwarten H100 und neuere GPUs mit NVLink 5 eine höhere externe Bandbreite
• NCCL--Reduzierzeiten skalieren schlecht mit der Clustergröße, was auf eine Netzwerksättigung hinweist
• Die Kabeldichte bei 400G wird physisch nicht mehr zu bewältigen - Weniger 800G-Ports können mehr 400G-Ports ersetzen
• Die nächste GPU-Generation in Ihrer Roadmap wird sie voraussichtlich innerhalb des Abschreibungsfensters des Clusters benötigen
• Sie erstellen einen Frontier-{0}Modell-Trainingscluster, bei dem jede Rechen-Leerlaufzeit deutlich mehr kostet als das Optik-Upgrade

Für die meisten Produktionscluster im Jahr 2026 bleibt 400G das richtige Gleichgewicht zwischen Kosten, Ökosystemreife und Leistungsfähigkeit.. 800G ist im oberen Preissegment und als Zukunftsinvestition für Cluster sinnvoll, die heute aufgebaut werden und voraussichtlich vier bis fünf Jahre laufen.

Abschluss

Das stärkste KI-Cluster-Netzwerk ist nicht das mit den schnellsten Switches. Dabei unterstützen sich NIC-Auswahl, Leaf/Spine-Größe, Überbelegung, RoCE-Konfiguration, Verkehrstrennung und physische Verkabelung gegenseitig und die Arbeitslast, für die sie ausgewählt wurden.

Beginnen Sie mit der Arbeitslast und dem 18-{{3}monatigen Wachstumsplan. Berechnen Sie den Bandbreitenbedarf auf jeder Ebene anhand realer Zahlen und nicht nur anhand von Faustregeln. Konfigurieren Sie RoCE von Ende-bis-und validieren Sie es mit echten kollektiven Kommunikations-Benchmarks. Budget für die Verkabelungsanlage – bei 400G und 800G ist die physikalische Schicht nicht mehr trivial.

Der Cluster, der seine GPUs bei jedem Trainingsschritt mit einer Auslastung von über 95 % beschäftigt, hat auf alle diese Ebenen geachtet. Der Cluster, der mit einem schnelleren Switch und einer langsameren Fabric ausgeliefert wird, wird Jahre damit verbringen, zu erklären, warum die GPUs im Leerlauf sind.

Weiterführende Literatur

• RFC 7938 - BGP in großen-Rechenzentren
• InfiniBand Trade Association - RoCE-Spezifikationen
• NVIDIA-Netzwerkdokumentation
• Installationsanleitung für Glasfaserkabel
• Einfügedämpfung vs. Rückflussdämpfung erklärt