IBM erklärt verteilte Inferenzverfahren für große Sprachmodelle

IBM Research erläuterte verteilte Inferenz anhand von llm-d, einem Open-Source-Framework für Kubernetes, das Gruppen großer Sprachmodellserver koordiniert, statt jeden Server einzeln auszulasten. Der Beitrag behandelt Routing zu Servern mit bereits vorhandenen gemeinsamen Präfixen, das Auslagern des KV-Caches in CPU-Speicher oder Datenträger, die Priorisierung von Anfragen, die Steuerung von Batch-Jobs, die Trennung von Prefill und Decode sowie die Verteilung von MoE-Experten auf Knoten.

IBM berichtet, dass eine llm-d-Demonstration 97 % der verfügbaren Präfix-Wiederverwendung in der getesteten Arbeitslast erfasste; außerdem nennt das Unternehmen Demonstrationen mit breiter Expertenparallelisierung, weniger Speicherbedarf für Expertengewichte je GPU und je nach Topologie drei- bis neunfacher KV-Cache-Kapazität. Diese Werte stammen aus vom Unternehmen angeführten Demonstrationen; der Beitrag ist keine unabhängige Benchmark-Studie.