IBM explica métodos de inferencia distribuida para modelos de lenguaje grandes

IBM Research explicó la inferencia distribuida mediante llm-d, un marco de código abierto y nativo de Kubernetes que coordina grupos de servidores de modelos de lenguaje grandes en vez de equilibrar cada servidor de forma aislada. El explicador aborda el enrutamiento a servidores que ya contienen prefijos compartidos, el traslado de la caché KV a memoria de CPU o almacenamiento, la priorización del flujo de solicitudes, la dosificación de trabajos por lotes, la separación del prellenado y la decodificación, y la distribución de expertos MoE entre nodos.

IBM afirma que una demostración de llm-d captó el 97 % de la reutilización de prefijos disponible en la carga de trabajo probada; también cita demostraciones de paralelismo amplio de expertos con menos memoria de pesos por GPU y una capacidad de caché KV de tres a nueve veces mayor, según la topología. Estas cifras pertenecen a demostraciones citadas por la empresa; la publicación no es un estudio de referencia independiente.